من امروز صبح در توییتر بحثی را درباره ایده داشتن ویژگی در Robots.txt دیدم که هم خزیدن و هم نمایه سازی را مسدود می کند. با این توییت توسط کریستین تورستون (ct_oz):
“سلام جان [Mueller]، آیا Google به این نتیجه رسیده است که فایل robots.txt نه تنها خزیدن را مسدود نکند ، بلکه فهرست بندی را نیز مسدود کند؟ به نقل قول willcritchlow: “من نمی توانم موقعیت های زیادی را ببینم که می خواهم خزیدن را مسدود کنم اما نمی خواهم نمایه سازی را مسدود کنم”.
“این یک تغییر قابل توجه در انتظارات خواهد بود (و بله ، ما بدون توجه به این موارد فکر می کنیم). آیا نمونه هایی دارید که این امر باعث بهبود قابل مشاهده در جستجو شود؟ ” مولر پاسخ دادبه “من می خواهم از افزودن دستورالعمل های بیشتر اجتناب کنم. من هنوز از مسائل متداول ناشی از این عملکرد مستند مطلع نیستم. SEO ها نگران فهرست بندی هستند ، اما معمولاً این URL ها فقط برای سایت رتبه بندی می شوند: ساختگی؟”
با بیش از 20 سال تجربه در زمینه SEO ، “من هرگز به موقعیتی برخورد نکرده ام که ناشری بخواهد صفحه ای فهرست بندی شود که برای خزیدن در robots.txt مسدود شود. حتی یکبار آن را ندیده ام ، ” در پاسخ توئیت کردمبه “این برای من معمول است که به مردم آموزش دهم که آنها حق انتخاب دارند: (1) خزیدن را مسدود کنند ، یا: (2) جلوگیری از نمایه سازی ، در حالی که آنچه می خواهند انجام دهند هر دو است. توجه: قطعاً بیشتر برای سایتهای بزرگتر که در آنها بودجه خزیدن مشکل ایجاد می کند ، بیشتر مطرح می شود. “
ویل کریچلو از Search Pilot موافقت کرد، “100 موافقم من می توانم محافظه کار بودن عدم تغییر استاندارد قدیمی را ببینم ، اما هرگز ندیده ام و نمی توانم به وضعیتی فکر کنم که بخواهید خزیدن را مسدود کنید اما اجازه فهرست بندی را بدهید. “
اما شما چه فکر می کنید؟ آیا داشتن ویژگی در Robots.txt مفید است که به شما امکان می دهد صفحاتی را که نمی خواهید نمایه سازی کنید مشخص کنید؟ نظرسنجی سریع سه س ourالی ما را در زیر انجام دهید و نظر خود را با ما در میان بگذارید.
لطفاً به خاطر داشته باشید که اگر برای انجام این کار بله رأی دادید ، باید تمام این ریسک را بپذیرید که ممکن است در برخی از مواقع تیم توسعه دهنده شما از قابلیت ها و صفحات NoIndex که شما نمی خواهید آنها را سوء استفاده کنند.
نظرات بیان شده در این مقاله ، نظر نویسنده مهمان است و الزاماً سرزمین موتور جستجو نیست. نویسندگان کارکنان در اینجا فهرست شده اند.
جدید در Search Engine Land
درباره نویسنده
اریک انگه مدیر کل Perficient Digital است ، یک آژانس دیجیتال با خدمات کامل و برنده جایزه. قبلاً اریک بنیانگذار و مدیر عامل Stone Temple بود ، همچنین یک آژانس بازاریابی دیجیتال برنده جایزه ، که توسط Perficient در جولای 2018 خریداری شد. او نویسنده اصلی کتاب The Art of SEO است ، یک کتاب 900+ صفحه ای که در صنعت را “کتاب مقدس SEO” نامید. در سال 2016 ، Enge جایزه Landy Land Engine Engine for Search Market of the Year و US Search Awards عنوان شخصیت برتر سال را دریافت کرد. او نویسنده ، محقق ، معلم و سخنران اصلی و متخصص در کنفرانس های مهم صنعت است.