Индексация

Индексация — процесс добавления сведений поисковым роботом в индексную базу о сайте или веб-странице.

Для управления индексацией используется файл robots.txt и такие директивы как Disallow, Allow, User-agent, Crawl-delay и другие. Также, для управления индексацией применяют теги и атрибут , закрывающие содержимое сайта от роботов Яндекса и Google соответственно (Yahoo использует тег ).

Как заявляют представители поисковых систем, робот не индексируют часть документа с использованием технологий javascript и flash.

Скорость индексации новых сайтов в поисковой системе Яндекс занимает от одной недели до четырех недель, в Google — от нескольких минут до одной недели.

Смотрите также:
Оглавление

Нашли ошибку в описании?
Напишите письмо.