هل يؤدي إنشاء ملف robots.txt تلقائيا عبر ووردبريس إلى مشاكل في الزحف ؟

ينشئ ووردبريس ملف robots.txt إذا كان الملف غير موجود على الخادم. هل يمكن أن يؤدي هذا إلى مشاكل في الزحف من قبل جوجل ؟

أكدت جوجل هذا الأسبوع من جديد أن المشكلات المستمرة في استدعاء ملف robots.txt لموقع ما قد تؤثر سلبا أثناء الزحف. يمكن أن تؤدي أخطاء الخادم  إلى قيام جوجل بإزالة موقع الويب من الفهرس. سبب ذلك هو أن جوجل تريد دائمًا التحقق من ملف robots.txt قبل الزحف. وفقًا لـ جوجل ، فإن حوالي 26 بالمائة من محاولات استدعاء ملف robots.txt يكون فيها مشاكل .

هذا مثير للاهتمام فيما يتعلق بأحد أنظمة إدارة المحتوى الأكثر استخدامًا: ووردبريس. له خاصية إنشاء ملف robots.txt إذا كان هذا الملف غير موجود على خادم الويب. عادة ، يتم تخزين ملف robots.txt بشكل ثابت في الدليل على خادم الويب الذي توجد به ملفات موقع الويب المعني.

وجه Joost de Valk و هو مؤسس ورئيس قسم المنتجات في Yoast لـ WordPress ، سؤال الى  Gary Illyes من فريق جوجل عما إذا كان من المحتمل أن يتسبب استدعاء ملف robots.txt في حدوث مشكلات في المواقع التي تعمل على WordPress أكثر من غيرها المواقع.

أجاب Illyes أن ووردبريس يعمل بشكل جيد ، وأنه يجب أن يكون هناك بالفعل مشكلة او خاطئ فادح  عند استدعاء ملف robots.txt ،وقال Illyes انه يريد القيام بتحليل آخر للتأكد:

أوضح Joost de Valk في هذا السياق ان وظيفة إنتاج ملف robots.txt تلقائيا بواسطة WordPress أحيانًا قد تتسبب في حدوث أخطاء في الخادم. إذا كان هناك العديد من الاخطاء فيجب عليك تغيير WordPress بحيث يكون هناك ملف robots.txt ثابت:

 

إذا كنت ترغب في تجنب المشاكل المحتملة في إنشاء ملف robots.txt بواسطة WordPress ، فيجب عليك ببساطة تخزين ملف robots.txt ثابت على خادم الويب.

Exit mobile version