يمكن إنشاء ملف robots.txt لموقع ووردبريس باستخدام الإضافات أو ببساطة أنشاءه يدويًا. يتيح لك ملف robots.txt هذا تحديد أي من مقالات وصفحات موقعك يجب أن يتم إدراجها بواسطة روبوتات جوجل في نتائج البحث .
أنشاء ملف robots.txt لموقع ووردبريس : تعليمات خطوة بخطوة
يقوم ووردبريس بإنشاء ملف robots.txt تلقائيا وهو بالمناسبة موصى به. من خلال ملف robots.txt يمكنك على سبيل المثال السماح لروبوتات جوجل و محركات بحث أخرى بالزحف لموقعك أو استثناء بعض المقالات أو الملفات من الظهور في محرك البحث .
- أولاً ، قم بتنزيل اضافة يوست لموقع ووردبريس من هنا.
- قم بفك ضغط الملف الذي تم تنزيله.
- الآن قم بتحميل المجلد الذي تم فك ضغطه بالكامل إلى ” wp-content / plugins “
- يمكنك أيضا تثبيت إضافة أيضا من خلال لوحة تحكم وورد بريس > إضافات > اضف جديد.
- قم بتنشيط المكون الإضافي الجديد وابدأ في إنشاء ملف robots.txt وفقًا لرغباتك.
أنشاء ملف robots.txt بدون إضافة
كما ذكرنا أعلاه ملف robots.txt يتم أنشاءه تلقائيا في الووردبريس ويكون كالتالي :
إذا كنت لا ترغب في وضع أي قيود على عرض محتوى موقعك ، فلست بحاجة إلى القيام بأي شيء آخر.
إذا كنت لا ترغب في استخدام إضافة ووردبريس فيها وظائف تحرير robots.txt ، فلا يزال بإمكانك إنشاء ملف robots.txt يدويا وإدارته. يجب رفع الملف عبر برنامج رفع الملفات FTP.
أولاً ، استخدم أي محرر نصوص على جهاز الكمبيوتر لإنشاء ملف فارغ بها الاسم “robots.txt”:
حسنًا ، لديك الآن ملف robots.txt فعلي على خادمك يمكنك تعديله إذا لزم الأمر. لكن ماذا تفعل فعلاً بهذا الملف؟ حسنًا ، كما تعلمت في القسم الأول ، يمكنك استخدام ملف robots.txt للتحكم في كيفية تفاعل الروبوتات مع موقعك . يمكنك فعل ذلك بأمرين أساسيين:
- User-Agent – يسمح لك هذا باستهداف روبوتات محددة. يمكن للروبوتات استخدامها لتعريف نفسها بوكلاء المستخدم User-Agent. على سبيل المثال ، يمكنك استخدامها لإنشاء قاعدة تنطبق على محرك البحث بينج وليس على جوجل .
- Disallow- هذا الأمر يُطلب من الروبوتات عدم الوصول إلى مناطق معينة من موقعك.
يقوم كل صاحب موقع بتعديل ملف robots.txt لـ ووردبريس بشكل مختلف ، اعتمادًا على بنية موقعه والتفضيلات الخاصة به. ومع ذلك فإن المثال التالي يقدم توجيهاً جيداً حيث أنه يغطي أهم الحالات:
بمساعدة برنامج FTP ، يمكنك تحميل هذا الملف النصي على استضافة موقعك. يجب أن يكون هذا الملف موجودًا في الدليل الجذر . في النهاية ، يمكنك استدعاء هذا الملف عبر المتصفح بهذا الشكل http://clock3.com/robots.txt استبدل clock3 بموقعك .
اختبار ملف Robots.txt
يمكنك اختبار ملف ووردبريس robots.txt الخاص بموقعك في Google Search Console ( اضغط هنا لاختبار الملف ) للتأكد من أنه تم إعداده بشكل صحيح. يمكن للمرء بعد ذلك اختبار أي رابط، بما في ذلك الصفحة الرئيسية. من المفترض أن ترى علامة خضراء موافق عليها إذا كان كل شيء قابلاً للبحث (يمكن الزحف إليه). يمكنك أيضًا اختبار روابط التي قمت بحظرها للتأكد من أنها محظورة بالفعل .
