سيو

جوجل : قد تتم فهرسة المحتويات على الرغم من حظرها بواسطة ملف robots.txt

هناك حالات خاصة معينة تقوم فيها جوجل بفهرسة محتوى بعض روابط URL  على الرغم من حظرها بواسطة robots.txt.

عادةً ما يؤدي تعيين الوسم “disallow” في ملف robots.txt الذي يشير الى عنوان URL معين إلى عدم قيام جووجل بالزحف إلى هذا الرابط وعدم فهرسته. ومع ذلك ، قد يحدث أن تعرض جوجل مقتطفات لعناوين URL هذه في نتائج البحث ، على سبيل المثال إذا كانت هناك روابط خارجية لعناوين URL المعنية. عادة ، يظهر فقط عنوان URL بدون نص أو وصف في المقتطف لأن الزحف محظور بواسطة ملف robots.txt.

هناك حالات خاصة تقوم جوجل أيضًا بفهرسة المحتوى في روابط URL المحظورة. جون مولر اكد ذلك عندما سئل عبر تويتر. اشار مولر الى مشاركة مدونة Google سابقة حول القواعد التي لم تعد مدعومة في ملف robots.txt.

“يمكن لمحركات البحث فهرسة الصفحات التي تعرفها فقط ، لذا فإن حظر الصفحة من الزحف يعني عادة عدم فهرسة محتواها.”

اشير ايضا الى مصطلح “usually” الذي تم مناقشته في هذه الحالة  ، مما يعني أن هناك استثناءات للقاعدة التي مفادها أن المحتوى من الصفحات المحظورة لا يتم فهرسته.  اشار مولر ايضا الى بعض الامثلة التالية:

  • إذا كانت هناك نقاط ربط لعنوان URL المعني
  • عندما تتم معالجة ملف robots.txt مرة أخرى
  • إذا جرت محاولة لإعادة معالجة عنوان URL.

لذلك ليس هناك ما يضمن عدم ظهور المحتوى من عناوين URL المحظورة بواسطة robots.txt في البحث.

 

 

تابعنا على أخبار جوجل

أيسر موفق

متخصص في كتابة المقالات التحليلية والسيو، مهتم بتطوير محركات البحث وتحسين جودة المحتوى العربي على الإنترنت، خبرة أكثر من 15 سنة في مجال الكتابة والتسويق بالمحتوى ووضع استراتيجات المحتوى وخُطط التسويق بشكل عام.
زر الذهاب إلى الأعلى
Don`t copy text!

يستخدم موقعنا الإلكتروني ملفات تعريف الارتباط وبالتالي يجمع معلومات حول زيارتك لتحسين موقعنا (عن طريق التحليل) ، وإظهار محتوى الوسائط الاجتماعية والإعلانات ذات الصلة. يرجى الاطلاع على صفحة سياسة الخصوصية الخاصة بنا للحصول على مزيد من التفاصيل أو الموافقة عن طريق النقر على الزر "موافق".

إعدادات ملفات تعريف الارتباط
أدناه يمكنك اختيار نوع ملفات تعريف الارتباط التي تسمح بها على هذا الموقع. انقر فوق الزر "حفظ إعدادات ملفات تعريف الارتباط" لتطبيق اختيارك.

وظائفيستخدم موقعنا ملفات تعريف الارتباط الوظيفية. ملفات تعريف الارتباط هذه ضرورية للسماح لموقعنا بالعمل.

تحليليستخدم موقعنا الإلكتروني ملفات تعريف الارتباط التحليلية لتمكين تحليل موقعنا وتحسينه لغرض سهولة الاستخدام.

وسائل التواصل الاجتماعييستخدم موقعنا الإلكتروني ملفات تعريف الارتباط الخاصة بوسائل التواصل الاجتماعي لعرض محتوى تابع لجهة خارجية مثل YouTube و FaceBook. قد تتعقب ملفات تعريف الارتباط هذه بياناتك الشخصية.

أعلاناتيستخدم موقعنا الإلكتروني ملفات تعريف ارتباط إعلانية لعرض إعلانات الجهات الخارجية بناءً على اهتماماتك. قد تتعقب ملفات تعريف الارتباط هذه بياناتك الشخصية.

أخرىيستخدم موقعنا الإلكتروني ملفات تعريف ارتباط تابعة لجهات خارجية من خدمات جهات خارجية أخرى