بالنسبة إلى جوجل فإن ملف robots.txt هو عنوان رابط – URL . يمكن فهرسته بنفس الطريقة . ولكن هناك حالات خاصة للزحف.
ملف robots.txt له معنى خاص لمواقع الويب ، لأنه يحدد عناوين URL والدلائل التي يمكن الزحف إليها بواسطة محركات البحث المختلفة وأيها لا.
تتعامل جوجل مع ملف robots.txt مثل عناوين URL لمواقع الويب . هذا ما كتبه غاري إيليس على تويتر. أيضًا يمكن فهرسة ملف robots.txt ، ومن الممكن اختياره كرابط Canonical .
Triggered by an internal question: robots.txt from indexing point of view is just a url whose content can be indexed. It can become canonical or it can be deduped, just like any other URL.
It only has special meaning for crawling, but there its index status doesn't matter at all. pic.twitter.com/bBMXy1XcRF— Gary 鯨理／경리 Illyes (@methode) November 6, 2019
هذا يعني: ما إذا كان بإمكان جوجل فهرسة ملف robots.txt أم لا ، فستنظر جوجل في الملف. الشرط الأساسي لذلك هو أنه يمكن استدعاء ملف robots.txt بدون مشاكل ، يمكن أن تؤثر المشكلات المستمرة في استدعاء ملف robots.txt على الزحف وحتى على الموقع .
ومن المثير للاهتمام أيضًا أن محتويات ملف robots.txt يمكن أن تظهر في نتائج البحث. هناك شيء مشابه كان معروفًا بالفعل لملفات XML Sitemap ، ولهذا يوصى بتعيين هذا الملفات على “noindex” عدم التتبع .