هناك حالات خاصة معينة تقوم فيها جوجل بفهرسة محتوى بعض روابط URL على الرغم من حظرها بواسطة robots.txt.
عادةً ما يؤدي تعيين الوسم “disallow” في ملف robots.txt الذي يشير الى عنوان URL معين إلى عدم قيام جووجل بالزحف إلى هذا الرابط وعدم فهرسته. ومع ذلك ، قد يحدث أن تعرض جوجل مقتطفات لعناوين URL هذه في نتائج البحث ، على سبيل المثال إذا كانت هناك روابط خارجية لعناوين URL المعنية. عادة ، يظهر فقط عنوان URL بدون نص أو وصف في المقتطف لأن الزحف محظور بواسطة ملف robots.txt.
هناك حالات خاصة تقوم جوجل أيضًا بفهرسة المحتوى في روابط URL المحظورة. جون مولر اكد ذلك عندما سئل عبر تويتر. اشار مولر الى مشاركة مدونة Google سابقة حول القواعد التي لم تعد مدعومة في ملف robots.txt.
“يمكن لمحركات البحث فهرسة الصفحات التي تعرفها فقط ، لذا فإن حظر الصفحة من الزحف يعني عادة عدم فهرسة محتواها.”
اشير ايضا الى مصطلح “usually” الذي تم مناقشته في هذه الحالة ، مما يعني أن هناك استثناءات للقاعدة التي مفادها أن المحتوى من الصفحات المحظورة لا يتم فهرسته. اشار مولر ايضا الى بعض الامثلة التالية:
- إذا كانت هناك نقاط ربط لعنوان URL المعني
- عندما تتم معالجة ملف robots.txt مرة أخرى
- إذا جرت محاولة لإعادة معالجة عنوان URL.
لذلك ليس هناك ما يضمن عدم ظهور المحتوى من عناوين URL المحظورة بواسطة robots.txt في البحث.
