سيو

جوجل : ملف robots.txt يتم فهرسته مثل عناوين URL

بالنسبة إلى جوجل فإن ملف robots.txt هو عنوان رابط – URL . يمكن فهرسته بنفس الطريقة . ولكن هناك حالات خاصة للزحف.

ملف robots.txt له معنى خاص لمواقع الويب ، لأنه يحدد عناوين URL والدلائل التي يمكن الزحف إليها بواسطة محركات البحث المختلفة وأيها لا.

تتعامل جوجل مع ملف robots.txt مثل عناوين URL لمواقع الويب . هذا ما كتبه غاري إيليس على تويتر. أيضًا  يمكن فهرسة ملف robots.txt ، ومن الممكن اختياره كرابط Canonical .

هذا يعني: ما إذا كان بإمكان جوجل فهرسة ملف robots.txt أم لا ، فستنظر جوجل في الملف. الشرط الأساسي لذلك هو أنه يمكن استدعاء ملف robots.txt بدون مشاكل ، يمكن أن تؤثر المشكلات المستمرة في استدعاء ملف robots.txt على الزحف وحتى على الموقع .

ومن المثير للاهتمام أيضًا أن محتويات ملف robots.txt يمكن أن تظهر في نتائج البحث. هناك شيء مشابه كان معروفًا بالفعل لملفات XML Sitemap ، ولهذا يوصى بتعيين هذا الملفات على “noindex” عدم التتبع .

أيسر موفق

متخصص في كتابة المقالات التحليلية والسيو، مهتم بتطوير محركات البحث وتحسين جودة المحتوى العربي على الإنترنت، خبرة أكثر من 15 سنة في مجال الكتابة والتسويق بالمحتوى ووضع استراتيجات المحتوى وخُطط التسويق بشكل عام.
زر الذهاب إلى الأعلى
Don`t copy text!