گوگل GoogleOther، یک خزنده وب جدید را راه اندازی کرده است.
گری ایلیز از گوگل در لینکدین گفت: GoogleOther به صورت داخلی توسط تیم های مختلف گوگل برای خزیدن در وب عمومی استفاده خواهد شد.
به همان دستورالعمل ها و پروتکل های خزنده اصلی Googlebot احترام می گذارد و برخی از منابع را برای خزنده های اصلی Googlebot آزاد می کند.
GoogleOther. Google GoogleOther را به اسناد خزنده خود اضافه کرد:
خزنده عمومی که ممکن است توسط تیم های مختلف محصول برای واکشی محتوای در دسترس عموم از سایت ها استفاده شود. به عنوان مثال، ممکن است برای خزیدن یکباره برای تحقیق و توسعه داخلی استفاده شود. خزنده GoogleOther همیشه از قوانین robots.txt برای توکن عامل کاربر خود و عامل کاربر جهانی پیروی می کند.
و از محدوده IPهای مشابه Googlebot استفاده می کند.”
نمای کلی خزنده‌های گوگل (عامل کاربر) عامل کاربر.
توکن عامل کاربر و رشته کامل عامل کاربر ساده هستند، فقط «GoogleOther» است. چرا ربات جدید؟
- ایلیز توضیح داد که این ربات جدید “در نهایت فشاری را از Googlebot خارج خواهد کرد.”
«از آنجایی که ما نحوه و مواردی را که Googlebot خزیده می‌کند بهینه می‌کنیم، چیزی که می‌خواستیم اطمینان حاصل کنیم این است که کارهای خزیدن Googlebot فقط به صورت داخلی برای ایجاد فهرستی که توسط جستجو استفاده می‌شود استفاده می‌شود. برای این کار ما یک خزنده جدید به نام GoogleOther اضافه کردیم که جایگزین برخی از کارهای دیگر Googlebot مانند خزیدن تحقیق و توسعه خواهد شد تا مقداری ظرفیت خزیدن را برای Googlebot آزاد کند. گوگل از آن برای اهداف داخلی استفاده می کند.
یعنی برای برد استفاده میشه؟ نامشخص است. آیا باید GoogleOther را مسدود کنید؟
معلوم نیست اگر بخواهید این ربات جدید را مسدود کنید چه اتفاقی می افتد. اما من گمان می کنم که باید مراقب آن باشید و اگر باعث استرس بیش از حد روی سرور شما می شود، می توانید تصمیم بگیرید که آیا می خواهید دسترسی به سایت خود را برای این Googlebot جدید مجاز یا رد کنید. چرا ما اهمیت می دهیم.
بسیاری از شما فعالیت‌های خزیدن و فعالیت ربات خود را در وب‌سایت و فایل‌های گزارش خود بررسی می‌کنید. وقتی این خزنده GoogleOther جدید را می بینید، نگران نباشید. این یک Googlebot واقعی است.