إنشاء ملف robots.txt

شرح عمل ملف robots.txt

في بداية سوف نتحدث عن robots.txt و ماهي اهميتة بنسبة لموقعك و تهيئة موقعك لمحرك البحث
يجب ان تعرف ان كل موقع الكتروني على انترنت يحتوي على ملف اسمه روبوت ماهي فائدته اذا! و كيف عمل robots.txt كل هذه الاسئلة سوف نجيب عليها في هذه التدوينة.

ماهو robots.txt

هو ملف يربط بين موقعك و محرك البحث حيث يقول لربوتات جوجل او bing اترك هذا وخذ هذا وضعه في محرك البحث ليس بالكلام طبعا لكن باللغة البرمجة و هو عبارة عن ملف يساعد في تنظيم الارشفة الخاصة بموقعك و يسهل على محرك البحث معرفة اي صفحة تريد ان تظهرها في البحث اي انه يسمح او يمنع عناكب البحث من بعض الصفحات ماهي صفحات التي تريد ان تمنعها كل موقع يحتوي على صفحة خصوصية و اتصل بنا او من نحن هذه الصفحات لا يجب عليك ارشفتها في محرك البحث لان ليس لديها اهمية كبيرة في موقعك و ايضا معلومات الحساسة عن موقعك ان كانت في بعض الصفحات يجب عليك منع ارشفتها ويقوم بتنظيم حركة العناكب البحث في موقعك يمكنك لأي شخص رؤية ملف (robots.txt  (Robots Exclusion Protocol
على سبيل المثال يضع اي موقع و يضيف اليه robots.txt  
www.example.com/robots.txt

كيف عمل robots.txt

اما السؤال الثاني و الأهم هو كيف تعمل هذا بنفسك فقط افتح اي مشغل نصوص مثل notepad او word مهم انك في بداية النص ضع 
User-agent: *
ومن ثم ضع اسفلها هذا الامر لمنع ارشفة صفحة على سبيل المثال انا اريد منع ارشفة هذه الصفحة www.choro7atweb.com/nogooglebot.html فقط اضع امر كتالي ضع كل ما وراء رابط الموقع
Disallow: /nogooglebot.html
علامة نجمة * تدل على منع زحف روبوتات البحث
ويجب عليك وضع رابط صفحات التي تريد منعها بنفسك كما اوضحت لك 
في حالة كنت تريد منع ارشفة مسار بالكامل على سبيل مثال مسار asia

User-agent: *


Disallow: /asia/

تعني ان كانت اي روابط تحتوي على هذا المسار منع ارشفتها على سبيل مثال
www.choro7atweb.com/asia/qatar.html يعني ان هذه الصفحة سوف يتم منع ارشفتها او بمعنى ادق منع وصول 
الزاحف الى هذه الصفحة نوع هذه المسارات تجدها في منتديات و مواقع استضافة او وردبريس

ارشفة الصور في محرك البحث جوجل

لمناداة روبوت خاص  بالصور فقط ضع الامر التالي User-agent: Googlebot-Image او الزاحف الذي يبحث عن 
الصور في موقعك اما User-agent: Googlebot-mobile فهو زاحف الخاص بالجوال حيث يجب ان تسمح له بارشفة لموقعك 
نسخة الجوال ومن ثم ضع ويجب ان تضع اوامر كتالي 


User-agent: Googlebot-mobile
allow: /allow: /






بعد الانتهاء قم بوضع خريطة خاصة بموقعك sitemap



ولكي تفهم اكثر خاصية robot.txt سوف اعطيك مثال اخر عن موقعي


على سبيل المثال لدي سياسة خصوصية على رابط التالي



https://www.choro7atweb.com/p/1-dz2u-2.html



و اريد منعها من ارشفة فقط اضع ملف هكذا



User-agent:*
Disallow: /p/1-dz2u-2.html



مثال عن المسار على سبيل المثال لدي رابط الذي يحتوي على الصور على هذا الشكل



/https://www.choro7atweb.com/image/



كأنه هذا ملف على الحاسوب يحتوي على صور لكي لا اضيع وقت اسمح بي ارشفة جميع صور دخل ملف image

فقط اضع امر التالي





User-agent:*
allow: /image/



رفع ملف robot.txt على مدونة بلوجر



فقط اذهب الى اعدادات و من ثم اعدادات البحث كما في الصورة ومن ثم سوف يظهر لك robot.txt


إنشاء ملف robots.txt


ومن ثم قم بتفعيل robot.txt و سوف تجده فارغا ضع فيه نص خاص بك نص خاص بي على سبيل المثال


رفع ملف robot.txt


ومن ثم قم بضغط على حفظ و مبروك عليك لقد وضعت ملف بنجاح