ما هو الزاحف (جوجل بوت) Crawler Googlebot ؟
برنامج الزاحف هو برنامج يبحث بشكل مستقل عن جميع صفحات الويب أو المستندات على الإنترنت. نظرًا لأن البحث عن محتوى جديد يتم آليًا ، يشار إليها غالبًا باسم الروبوتات . الأكثر شعبية الروبوت أو الزاحف هو Googlebot .تستخدم محركات البحث الزواحف لاستكمال فهرسها وتحديثه. وهي بالتالي جزء أساسي من أي محرك بحث وتمكّن صفحات الويب من الترتيب حتى في نتائج البحث. بالإضافة إلى ذلك ، فإن الطريقة التي يسافر بها الزواحف إلى الإنترنت تشبه شبكة العنكبوت . لهذا السبب يشار إلى برامج الزحف في بعض الأحيان باسم العناكب .
كيف تعمل برامج الزحف
تقوم برامج زحف محركات البحث بفحص الإنترنت بشكل متكرر بحثًا عن مواقع ويب ومحتويات جديدة. لذلك ، تتجول من رابط إلى رابط عند زيارة أي موقع ويب ، وبالتالي تجوب جميع المحتوى الأساسي. هذا يؤثر على كل من الروابط الواردة والصادرة للصفحة.
على افتراض أن موقع الويب معزول تمامًا عن جميع المواقع الأخرى على الإنترنت ، فلن يحتوي على أي روابط واردة أو صادرة. في هذه الحالة ، لن يتمكن الزاحف من زيارة الموقع لأنه ببساطة يفتقر إلى “باب” المحتوى.
يتم إرسال جميع المحتويات التي يجدها الزاحف في رحلته عبر الإنترنت إلى فهرس محرك البحث. هناك ، يتم تقييم محتويات وتصنيفها . بمجرد أن يبدأ المستخدم استعلام البحث عبر جوجل، تتم مقارنة مواقع الويب في الفهرس بشروط استعلام البحث وترتيبها بترتيب تصاعدي وفقًا لمدى ملاءمتها . هكذا يأتي ترتيب محرك البحث . تلعب الآن أكثر من 200 معيار دورًا في تقييم أهمية موقع الويب.
كم مرة يتم الزحف إلى موقع الويب؟
بمجرد اكتشاف متتبع ارتباطات موقع ويب جديد لأول مرة ، سيعود أكثر وأكثر لمعرفة ما إذا كان هناك شيء قد تغير. إذا واجه محتوى جديدًا ، فسيتم تحديث الفهرس وفقًا لذلك.
كلما تم تحديث الصفحة في كثير من الأحيان ، زاد عدد مرات ظهور الزاحف. على سبيل المثال ، في حالة الصحف الكبيرة والجديرة بالثقة ، نرى دائمًا آخر الأخبار بعد دقائق فقط من نشرها على Google.
من ناحية أخرى ، إذا وجد الزاحف أن موقع الويب لا يضيف أي تحديثات أو محتوى جديد لفترة طويلة ، فسيكون أقل تكرارًا.
تاثير الكود المصدري على الزحف للموقع
لكل صفحة يزورها الروبوت ، لديه فقط كمية محدودة من الوقت . يقرأ bot الكود المصدري للصفحة من أعلى إلى أسفل. على سبيل المثال ، شفرة المصدر مهم. لأنه إذا كان هناك بالفعل الكثير من المعلومات الزائدة في منطقة رأس الشفرة المصدرية أو الكثير من البيانات الخارجية التي يجب تحميلها ، فسيتم بالفعل استهلاك جزء كبير من ميزانية الزحف في هذه المرحلة وحدها. على الرغم من أن هذا نادر جدًا ، فقد يحدث نظريًا أن وقت الزحف يتم استهلاكها بالفعل من قبل شيء ما قبل أن يتوفر للزاحف الوقت الكافي لقراءة المحتوى ذي الصلة من الصفحة.
أيضًا ، يمكن أن تساهم بنية صفحات الويب الواضحة والحجم الكلي المنخفض للملف بشكل كبير في عدم استهلاك ميزانية الزحف غير الضرورية.
حظر صفحات عن الزاحف
في بعض الأحيان يكون من المنطقي منع الزاحف من زيارة صفحات معينة . يمكن أن تكون هذه صفحات مسؤول ، على سبيل المثال. باستخدام ملف Robots ، يمكنك التحكم في برامج الزحف على موقع الويب الخاص بك. على سبيل المثال ، يمكنك منعهم من البحث في صفحات معينة. بالطبع ، لن يتم تضمينها في الفهرس ولن تظهر في نتائج البحث.