گوگل موارد استفاده را برای انواع مختلف خزنده خود توضیح می دهد

گوگل اکنون جزئیات جدیدی اضافه کرده است که سه دسته را توضیح می دهد که خزنده های گوگل آن شامل Googlebot، خزنده های مورد خاص و واکشی توسط کاربر می شود.

علاوه بر این، گوگل اکنون یک فایل با فرمت JSON را فهرست می کند که حاوی لیستی از آدرس های IP است که هر یک از انواع مختلف خزنده استفاده می کنند.

انواع خزنده های گوگل در بالای این صفحه Googlebot، گوگل این سه نوع خزنده را فهرست کرده است:

• Googlebot – خزنده اصلی محصولات جستجوی گوگل. گوگل می گوید این خزنده همیشه به قوانین robots.txt احترام می گذارد.
• خزنده های مورد خاص – خزنده هایی که عملکردهای خاصی را انجام می دهند (مانند AdsBot)، که ممکن است به قوانین robots.txt احترام بگذارند یا نکنند.
• واکشی های تحریک شده توسط کاربر – ابزارها و عملکردهای محصول که در آن کاربر نهایی واکشی را راه اندازی می کند. به عنوان مثال، Google Site Verifier به درخواست یک کاربر عمل می کند یا برخی از ابزارهای کنسول جستجوی Google، Google را برای واکشی صفحه بر اساس اقدامی که کاربر انجام می دهد، می فرستند.

آدرس های IP گوگل همچنین محدوده آدرس IP و ماسک DNS معکوس را برای هر نوع فهرست کرده است:

چه چیزی جدید است. در اینجا بخشی از صفحه است که به روز شده است. بقیه صفحه عمدتاً بدون تغییر است.

چرا ما اهمیت می دهیم. من معتقدم گوگل این تغییر را پس از مشاهده برخی از واکنش‌ها نسبت به ربات GoogleOther که روز گذشته اعلام کرد، انجام داد. اکنون این توضیح می‌دهد که خزنده‌های Google چگونه عمل می‌کنند، زمانی که به robots.txt احترام می‌گذارند و چگونه آنها را بهتر شناسایی کنند.

حال، اگر می‌خواهید خزنده اصلی Google، Googlebot را مسدود نکنید، اما تصمیم به مسدود کردن سایر خزنده‌ها دارید، بهتر می‌توانید آن خزنده‌ها را با دقت بیشتری شناسایی کنید.