Юрий П.
70 сообщений
#7 лет назад
Здравствуйте.
Бот Яндекса YandexBot/3.0 замучил уже. Сутками напролёт DDOS-ит сайт, тормозит сервер. Выгружает страницы десятками тысяч в сутки (доска объявлений).
Уже убрал с сайта метрику, кнопки соцсетей Яндекса.
Crawl-delay: 30 в robots.txt тоже не особо помогает.

Кто-нибудь знает ещё реальные способы как успокоить этого сумасшедшего бота?
Николай С.
323 сообщения
#7 лет назад
Забаньте по IP.
Юрий П.
70 сообщений
#7 лет назад
Отличный совет)...
Андрей В.
1205 сообщений
#7 лет назад
Цитата:
Выгружает страницы десятками тысяч в сутки
Так а что ж тут плохого то? Радоваться надо, что страницы в индекс попадают и бот уделяет должное внимание домену/сайту!

А так Вы его забаните он обидится и не прийдет к Вам больше...
Может лучше смотреть в сторону конфигурации сервера, нанять спец. что бы оптимизировал нагрузку или даже поменять тариф на более лучший?
Александр Ф.
3318 сообщений
#7 лет назад
Для начала проверьте айпишник, принадлежит ли он Яндекс-боту. Порой парсеры могут под него шифроваться )
Сколько страниц в сайте, что десятки тысяч в сутки и он никак не утихомирится?
Создайте сайтмап - чтобы он быстрее прогрузил себе странички. Я не представляю активность наполнения Вашей доски, чтобы дать какой то дельный совет, только догадки.
Возможно у вас не кешируются запросы по страничкам, а каждый запрос в БД не по детски грузит сервер... Или на сервере медленные диски или запросы к БД не оптимизированы. Выход программно: включить кеш, оптимизировать запросы к БД. Серверно: поменять сервак.