Юрий Перепадя
39 лет, Украина
41 сообщение
#1 год назад
Здравствуйте.
Бот Яндекса YandexBot/3.0 замучил уже. Сутками напролёт DDOS-ит сайт, тормозит сервер. Выгружает страницы десятками тысяч в сутки (доска объявлений).
Уже убрал с сайта метрику, кнопки соцсетей Яндекса.
Crawl-delay: 30 в robots.txt тоже не особо помогает.

Кто-нибудь знает ещё реальные способы как успокоить этого сумасшедшего бота?
Николай С.
28 лет, Россия
235 сообщений
#1 год назад
Забаньте по IP.
Юрий Перепадя
39 лет, Украина
41 сообщение
#1 год назад
Отличный совет)...
Андрей В.
26 лет, Украина
582 сообщения
#1 год назад
Цитата:
Выгружает страницы десятками тысяч в сутки
Так а что ж тут плохого то? Радоваться надо, что страницы в индекс попадают и бот уделяет должное внимание домену/сайту!

А так Вы его забаните он обидится и не прийдет к Вам больше...
Может лучше смотреть в сторону конфигурации сервера, нанять спец. что бы оптимизировал нагрузку или даже поменять тариф на более лучший?
Александр Ф.
35 лет, Россия
1905 сообщений
#1 год назад
Для начала проверьте айпишник, принадлежит ли он Яндекс-боту. Порой парсеры могут под него шифроваться )
Сколько страниц в сайте, что десятки тысяч в сутки и он никак не утихомирится?
Создайте сайтмап - чтобы он быстрее прогрузил себе странички. Я не представляю активность наполнения Вашей доски, чтобы дать какой то дельный совет, только догадки.
Возможно у вас не кешируются запросы по страничкам, а каждый запрос в БД не по детски грузит сервер... Или на сервере медленные диски или запросы к БД не оптимизированы. Выход программно: включить кеш, оптимизировать запросы к БД. Серверно: поменять сервак.