لن يؤدي حظر الصفحات ذات الروابط المخالفة او السبام عبر ملف robots.txt إلى تجاهل Google عن هذه الروابط.
يمكن أن تشكل الروابط التي تنتهك إرشادات مشرفي المواقع Google مشكلة بالنسبة لموقع الويب. على سبيل المثال ، إذا كانت هناك نسبة كبيرة من الروابط المشتراة ، فقد يؤدي ذلك إلى قيام Google بإجراء يدوي ومعاقبة الموقع .
هناك عدة طرق للتخلص من هذه الروابط. من الناحية المثالية ، يتم حذف الروابط ، ولكن من الممكن أيضًا تخفيضها باستخدام أداة Disavow.
ومع ذلك ، فإن ما لا ينجح هو حظر الصفحات ذات الروابط ذات الصلة عبر ملف robots.txt ، بحيث لايمكن لجوجل الزحف إليها. كما كتب يوهانس مولر عبر تويتر ، تظل الصفحات مفهرسة حتى بعد الحظر .
الحل الصحيح هو إرسال الحالة 404 للصفحات المعنية بحيث تتم إزالتها من الفهرس ، لأنه إذا تم حذف صفحة بين صفحتين مرتبطتين ، فلن يتم أيضًا تقييم الارتباط:
https://twitter.com/JohnMu/status/1196898601785581581
مختصر – ليس من الجيد حظر الصفحات المفهرسة عبر ملف robots.txt و من خلال هذه الطريقة سوف تتوقف جوجل عن الزحف إلى هذه الصفحات. لكن لا يزال بإمكان هذه الصفحات الظهور في نتائج البحث – ولكن بدون محتوى في المقتطفات.
