Аналитические срезы по проекту снимаю редко — несколько раз в квартал, а то и в пол года раз. Однако заметил, что с середины ноября трафик подрос примерно в два раза. Прекрасная динамика, на первый взгляд. В природу трафика погружаться не стал, закрыл вкладку с отчетом и решил дать статистике «настояться».
Сегодня решил вернуться и проанализировать рост — посмотреть какой материал или сервис так круто выстрелил и генерирует новые визиты. Открыл Метрику и первое, что показалось странным в сводке — в четыре раза возрос процент отказов — до 60% при привычном значение в 13-15%. Далее снял точную дату изменения показателей отказов и роста посещаемости — изменения наблюдаются с 16 ноября 2020 года.
Первое с чего начал анализ — посмотрел источники переходов. Открыл стандартный отчет в Яндекс.Метрике Источники, сводка и построил график за последний месяц. На графике заметно как в период с середины ноября прямой трафик увеличился примерно в четыре раза.
Далее посмотрел какая страница является страницей входа для этих визитов. Открываем стандартные отчет — Содержания — Страницы входа и обращаем внимание, что новый трафик генерирует лишь одна страница — http://konstantinbulgakov.com/tools/register.
Причем показатель отказов у визитов на эту страницу — 98%!!! Если посмотрим на другие страницы из этого же раздела, отказы не превысят 15%. За почти пол месяца страница получила более 10 тысяч уникальных визитов. Ахтунг!
Осталось посмотреть выборочно отчеты Вебвизора, чтобы полностью сложить картину. Перейдем в Вебвизор и настроим простой сегмент по страницам входа, чтобы отсечь лишние записи из списка.
Получили вот такой чудесный список однородных визитов. А чудесного здесь много, посмотрите:
- Время на сайте не более 12-14 секунд — т.е типичный отказ по меркам Метрики.
- Интервал визитов 1-2 минуты на одну и туже страницу.
- Все визиты отмечены как Москва и МО и имеют единую IP-сеть Moscow Local Telephone Network.
- У всех до единого визитов общий браузер и разрешение экрана.
- Визиты поступают без паузы в течение ночи и дня.
Посмотрите на отчет:
Спамный трафик. По записи вебвизора видно, имитируется поведение пользователей — курсор двигается до формы, потом набор как правило одного-двух слов и сессия завершается. И так абсолютно на всех записях Вебвизора.
По всем наблюдением типичный спам, который направлен на снижение поведенческих метрик сайта. Самое сложное — это выявить из сотен и тысяч визитов странное поведение и разораться в его природе.
Теперь важно определить с каких IP-адресов идет трафик на сайт и заблокировать его на уровне сервера.
Определить айпишник визита можно по логам сервера. Открываем содержимое сервера любым FTP-клиентом и ищем файл с логами проекта, куда записываются параметры всех визитов. В моем случае это файл с расширением .log — konstantinbulgakov.com.access.log. Качаем файл на компьютер и открываем программой Notepad++.
В программе используем встроенный поиск — вводим название посадочной страницы и находим нужные визиты. В каждой строчке с визитом можно заметить IP-адрес визита, параметры браузера и время посещения.
Определили айпишник с которого идет активность — блокируем его. Открываем FTP-клиент и переходим в корень сайта на сервере, где находим служебный файл .htaccess. Сохраняем на компьютер и открываем все в той же программе Notepad++ для редактирования.
.htaccess — это конфигурационный файл веб-сервера Apache, позволяющий управлять работой веб-сервера и настройками сайта с помощью различных параметров (директив) без изменения основного конфигурационного файла веб-сервера.
В .htaccess можно задать несложную команду для блокировки доступа к сайту для конкретного IP-адреса. Дописываем в файле несколько строчек кода и указываем айпи вредителя — 109.252.100.28.
Order Allow,Deny Allow from all Deny from 109.252.100.28
Сохраняем запись и перезаливаем текущую версию файла на сервере.
Советы
Если у вас возникла такая же проблема с фейковым трафиком, рекомендую следующее:
- Перейти в раздел Мониторинг — Робота и посмотреть нет ли каких-либо резких всплесков. В этом отчете Метрики можно увидеть действия всех типов роботов на сайте.
- Если обнаружили всплески неестественного трафика в отчете Роботы и у вас есть основания полагать, что подобная ситуация может повториться, включите фильтрацию роботов по строгим правилам и поведению.
- Внимательно изучите и другие отчеты Метрики, а именно: Страницы входы, Источники, сводка, а также проанализируйте записи подозрительных визитов в Вебвизоре.
- Если заметили подозрительные визиты, то изучите логи и посмотрите с каких IP-адресов идет трафик.
- Если удалось определить с какого IP активность и вы уверены в сомнительной природе трафика, то внесите команды блокировки в файл — .htaccess и перезалейте его на сервере.
Более подробная информация об учете посещений сайта роботами представлена в разделе помощи: https://yandex.ru/support/metrika/reports/robots.xml
Вопросы
Даже после того как удалось выследить негодяя и жестко его наказать — баном и общественным порицанием, продолжают всплывать некоторые вопросы.
- Почему Метрики не фильтрует ботов и сомнительные сессии попадают в отчеты?
- Скажется ли такое поведение ботов на ранжировании сайта в выдаче в будущем?
- Когда ждать негативных сигналов от поисковиков в выдаче?
- Как защитить себя в будущем от повторений?
Если у вас есть ответы на вопросы, то велком — пишите! С удовольствием готов почитать ваш опыт борьбы с нежелательным трафиком.
напротив устройства задаем изменения.
