Какая поисковая система быстрее обрабатывает файл robots.txt

Константин Булгаков Подписаться

18 Сен.2017

Ответ: Google.

Здесь я не буду рассказывать как создавать текстовый файл, который содержит параметры индексирования сайта для поисковых роботов robots.txt и учить вас закачивать его в корневой каталогах проекта.

Речь пойдет о более важном вопросе: Какая поисковая система быстрее находит изменения в robots.txt и применяет их к поисковой выдаче.

Опишу ситуацию

Несколько дней назад с нашим разработчиком мы обратили внимание на открытый для индексации файл robots.txt на тестовом домене. Разумеется, этот жуткий косяк! Все содержимое тестового домена попало в индекс поисковых систем, что крайне критично для продвижения боевой версии.

Оперативно мы внесли запрет на индексацию (14.09.2017), установив директиву Disallow: / на весь сайт. По прошествии выходных решили обратить внимание на то, какой поисковик был наиболее оперативен и скрыл информацию от посторонних глаз.

Оказалось, что тестовый домен полностью сохранил свое присутствие в Яндексе (18.09.2017), а вот Google в отличие от своего российского конкурента шустро отреагировал на изменения и скрыл сайт из индекса.

Выводы

1. Google находит и определяет быстрее изменения в служебных файлах;
2. Не забываем проверять наличие и настройки robots.txt на версиях сайта предназначенных для тестирования функционала;
3. Проводим анализ файла в специальных сервисах для Вебмастером Яндекса и Гугла;
4. Помним, что мета-тег <meta name=»robots» content=»nofollow»/> или http-заголовок X-Robot tag, можно использовать как альтернативу robots.txt.

Друзья, создавайте понятные человеку урлы с помощью генератора ЧПУ ссылок, который доступен в разделе «Инструменты» совершенно бесплатно.

Поделитесь и подпишитесь

Уважаемые читатели, если этот материал вызвал у вас интерес, то поделитесь ссылкой на него на своих страничках в социальных сетях.

Меня можно найти Вконтакте и Twitter. Давайте дружить!