سيو

جوجل : ملف robots.txt يتم فهرسته مثل عناوين URL

بالنسبة إلى جوجل فإن ملف robots.txt هو عنوان رابط – URL . يمكن فهرسته بنفس الطريقة . ولكن هناك حالات خاصة للزحف.

ملف robots.txt له معنى خاص لمواقع الويب ، لأنه يحدد عناوين URL والدلائل التي يمكن الزحف إليها بواسطة محركات البحث المختلفة وأيها لا.

تتعامل جوجل مع ملف robots.txt مثل عناوين URL لمواقع الويب . هذا ما كتبه غاري إيليس على تويتر. أيضًا  يمكن فهرسة ملف robots.txt ، ومن الممكن اختياره كرابط Canonical .

هذا يعني: ما إذا كان بإمكان جوجل فهرسة ملف robots.txt أم لا ، فستنظر جوجل في الملف. الشرط الأساسي لذلك هو أنه يمكن استدعاء ملف robots.txt بدون مشاكل ، يمكن أن تؤثر المشكلات المستمرة في استدعاء ملف robots.txt على الزحف وحتى على الموقع .

ومن المثير للاهتمام أيضًا أن محتويات ملف robots.txt يمكن أن تظهر في نتائج البحث. هناك شيء مشابه كان معروفًا بالفعل لملفات XML Sitemap ، ولهذا يوصى بتعيين هذا الملفات على “noindex” عدم التتبع .

أيسر موفق

متخصص في كتابة المقالات التحليلية والسيو، مهتم بتطوير محركات البحث وتحسين جودة المحتوى العربي على الإنترنت، خبرة أكثر من 15 سنة في مجال الكتابة والتسويق بالمحتوى ووضع استراتيجات المحتوى وخُطط التسويق بشكل عام.
الإشتراك
نبّهني عن
guest
0 تعليقات
التقيمات المضمنة
عرض جميع التعليقات
زر الذهاب إلى الأعلى
0
التعليق عى المقال , شاركنا رأيك.x
()
x

يستخدم موقعنا الإلكتروني ملفات تعريف الارتباط وبالتالي يجمع معلومات حول زيارتك لتحسين موقعنا (عن طريق التحليل) ، وإظهار محتوى الوسائط الاجتماعية والإعلانات ذات الصلة. يرجى الاطلاع على صفحة سياسة الخصوصية الخاصة بنا للحصول على مزيد من التفاصيل أو الموافقة عن طريق النقر على الزر "موافق".

إعدادات ملفات تعريف الارتباط
أدناه يمكنك اختيار نوع ملفات تعريف الارتباط التي تسمح بها على هذا الموقع. انقر فوق الزر "حفظ إعدادات ملفات تعريف الارتباط" لتطبيق اختيارك.

وظائفيستخدم موقعنا ملفات تعريف الارتباط الوظيفية. ملفات تعريف الارتباط هذه ضرورية للسماح لموقعنا بالعمل.

تحليليستخدم موقعنا الإلكتروني ملفات تعريف الارتباط التحليلية لتمكين تحليل موقعنا وتحسينه لغرض سهولة الاستخدام.

وسائل التواصل الاجتماعييستخدم موقعنا الإلكتروني ملفات تعريف الارتباط الخاصة بوسائل التواصل الاجتماعي لعرض محتوى تابع لجهة خارجية مثل YouTube و FaceBook. قد تتعقب ملفات تعريف الارتباط هذه بياناتك الشخصية.

أعلاناتيستخدم موقعنا الإلكتروني ملفات تعريف ارتباط إعلانية لعرض إعلانات الجهات الخارجية بناءً على اهتماماتك. قد تتعقب ملفات تعريف الارتباط هذه بياناتك الشخصية.

أخرىيستخدم موقعنا الإلكتروني ملفات تعريف ارتباط تابعة لجهات خارجية من خدمات جهات خارجية أخرى