Прямые заходы с высоким процентом отказов или как бороться со спамным трафиком

Константин Булгаков
Константин Булгаков
07 Дек.2020
Приятно когда посещаемость сайта растет. И неважно какой род этого трафика. Однако, не всегда увеличение количества визитов = хороший трафик. Сегодня расскажу как за ноябрь посещаемость блога выросла на 70-100% и как мне пришлось бороться с таким наплывом «посетителей».

Аналитические срезы по проекту снимаю редко — несколько раз в квартал, а то и в пол года раз. Однако заметил, что с середины ноября трафик подрос примерно в два раза. Прекрасная динамика, на первый взгляд. В природу трафика погружаться не стал, закрыл вкладку с отчетом и решил дать статистике «настояться».

Сегодня решил вернуться и проанализировать рост — посмотреть какой материал или сервис так круто выстрелил и генерирует новые визиты. Открыл Метрику и первое, что показалось странным в сводке — в четыре раза возрос процент отказов — до 60% при привычном значение в 13-15%. Далее снял точную дату изменения показателей отказов и роста посещаемости — изменения наблюдаются с 16 ноября 2020 года.

Первое с чего начал анализ — посмотрел источники переходов. Открыл стандартный отчет в Яндекс.Метрике Источники, сводка и построил график за последний месяц. На графике заметно как в период с середины ноября прямой трафик увеличился примерно в четыре раза.

Прямые визиты

Далее посмотрел какая страница является страницей входа для этих визитов. Открываем стандартные отчет — Содержания — Страницы входа и обращаем внимание, что новый трафик генерирует лишь одна страница — http://konstantinbulgakov.com/tools/register.

Страницы входа

Причем показатель отказов у визитов на эту страницу — 98%!!! Если посмотрим на другие страницы из этого же раздела, отказы не превысят 15%. За почти пол месяца страница получила более 10 тысяч уникальных визитов. Ахтунг!

Статистика по страницам входа

Осталось посмотреть выборочно отчеты Вебвизора, чтобы полностью сложить картину. Перейдем в Вебвизор и настроим простой сегмент по страницам входа, чтобы отсечь лишние записи из списка.

Создание сегмента в Вебвизоре

Получили вот такой чудесный список однородных визитов. А чудесного здесь много, посмотрите:

  • Время на сайте не более 12-14 секунд — т.е типичный отказ по меркам Метрики.
  • Интервал визитов 1-2 минуты на одну и туже страницу.
  • Все визиты отмечены как Москва и МО и имеют единую IP-сеть Moscow Local Telephone Network.
  • У всех до единого визитов общий браузер и разрешение экрана.
  • Визиты поступают без паузы в течение ночи и дня.

Посмотрите на отчет:

Спам-визиты

Спамный трафик. По записи вебвизора видно, имитируется поведение пользователей — курсор двигается до формы, потом набор как правило одного-двух слов и сессия завершается. И так абсолютно на всех записях Вебвизора.

Запись фейкового визита в Яндекс.Метрике

По всем наблюдением типичный спам, который направлен на снижение поведенческих метрик сайта. Самое сложное — это выявить из сотен и тысяч визитов странное поведение и разораться в его природе.

Теперь важно определить с каких IP-адресов идет трафик на сайт и заблокировать его на уровне сервера.

Определить айпишник визита можно по логам сервера. Открываем содержимое сервера любым FTP-клиентом и ищем файл с логами проекта, куда записываются параметры всех визитов. В моем случае это файл с расширением .log — konstantinbulgakov.com.access.log. Качаем файл на компьютер и открываем программой Notepad++.

В программе используем встроенный поиск — вводим название посадочной страницы и находим нужные визиты. В каждой строчке с визитом можно заметить IP-адрес визита, параметры браузера и время посещения.

Определяем IP визита

Определили айпишник с которого идет активность — блокируем его. Открываем FTP-клиент и переходим в корень сайта на сервере, где находим служебный файл .htaccess. Сохраняем на компьютер и открываем все в той же программе Notepad++ для редактирования.

.htaccess — это конфигурационный файл веб-сервера Apache, позволяющий управлять работой веб-сервера и настройками сайта с помощью различных параметров (директив) без изменения основного конфигурационного файла веб-сервера.

В .htaccess можно задать несложную команду для блокировки доступа к сайту для конкретного IP-адреса. Дописываем в файле несколько строчек кода и указываем айпи вредителя — 109.252.100.28.

Order Allow,Deny
Allow from all
Deny from 109.252.100.28

Сохраняем запись и перезаливаем текущую версию файла на сервере.

Советы

Если у вас возникла такая же проблема с фейковым трафиком, рекомендую следующее:

  1. Перейти в раздел Мониторинг — Робота и посмотреть нет ли каких-либо резких всплесков. В этом отчете Метрики можно увидеть действия всех типов роботов на сайте.
  2. Если обнаружили всплески неестественного трафика в отчете Роботы и у вас есть основания полагать, что подобная ситуация может повториться, включите фильтрацию роботов по строгим правилам и поведению.
  3. Внимательно изучите и другие отчеты Метрики, а именно: Страницы входы, Источники, сводка, а также проанализируйте записи подозрительных визитов в Вебвизоре.
  4. Если заметили подозрительные визиты, то изучите логи и посмотрите с каких IP-адресов идет трафик.
  5. Если удалось определить с какого IP активность и вы уверены в сомнительной природе трафика, то внесите команды блокировки в файл — .htaccess и перезалейте его на сервере.

Более подробная информация об учете посещений сайта роботами представлена в разделе помощи: https://yandex.ru/support/metrika/reports/robots.xml

Вопросы

Даже после того как удалось выследить негодяя и жестко его наказать — баном и общественным порицанием, продолжают всплывать некоторые вопросы.

  1. Почему Метрики не фильтрует ботов и сомнительные сессии попадают в отчеты?
  2. Скажется ли такое поведение ботов на ранжировании сайта в выдаче в будущем?
  3. Когда ждать негативных сигналов от поисковиков в выдаче?
  4. Как защитить себя в будущем от повторений?

Если у вас есть ответы на вопросы, то велком — пишите! С удовольствием готов почитать ваш опыт борьбы с нежелательным трафиком.

Прямые заходы с высоким процентом отказов или как бороться со спамным трафиком: 5 комментариев

  1. У меня резко увеличилось число прямых заходов на сайт, но время посещения больше 15 сек, но в целом меньше одной минуты. Попробую по вашим рекомендациям отследить ip

  2. К сожалению, ограничение по IP не очень изящный выход. Вместе с бот-трафиком на этих IP может быть много реальных пользователей. Мы решали эту проблему либо с помощью cloudflare, или руками запрещать ботам по именам доступ.

    1. Спасибо за полезный контент. А можете подробнее рассказать про cloudflare? Сколько по деньгам?

  3. А что делать, если вредитель заранее позаботился о возможных блокировках и сделал динамический ip ? ))) У меня таких визитов тоже довольно много, уже месяц пытаюсь с ними бороться, обнаружил порядка 500 ip и добавил их в список блокировки, но адреса все время меняются… )) Что можете порекомендовать?
    Хотелось бы просто все исходящие с конкретного сервера заблокировать…

  4. Была аналогичная проблема, но в моем случае все было сложнее. Это налет был не с одного IP, а с абсолютно разных, в том числе и сети разные были. Единственное что их объединяло — это все были мобильные устройства на Android. Cloudflare здесь бессилен, они спокойно проходят его проверку, скрипты из инета для блокировки спам ботов вобщем-то тоже. Короче говоря пока не вычислил IP сети и не прибил их все, ломились на сайт по черному — прямые заходы до 70-75% доходили. Некоторое время прошло, я вместо блокировки в .htaccess перенес блокировку сетей в плагин, чтоб посмотреть количество. Ну ажетатаж упал, если ломились штук с 10 сетей, а то и более, то сейчас всего штук 6, да и то 2-3 только более активные.

Добавить комментарий для Константин Булгаков Отменить ответ

Ваш e-mail не будет опубликован. Обязательные поля помечены *