Компания SmartWeb, владеющая проектами-каталогами UAProm.net и
RUProm.net, вынуждена была забанить робота "Яндекса", который выкачивал
десятки страниц в секунду.
"Сегодня наш сервер переполнил количество соединений с СУБД из-за
излишней прожорливости YandexSomething-бота", - сообщается в блоге
компании. Далее говорится, что в этот день между 20 и 21 часами
робопаук выкачал 19238 страниц на серверах uaprom.net и ruprom.net,
доходя до 12 страниц в секунду.
Бот YandexSomething описывается в разных источниках как робот,
"индексирующий новостные потоки партнеров Яндекс-Новостей". Однако,
судя по обсуждениям в форумах, он донимает не только новостные сайты.
В связи с высокой нагрузкой владельцы сайтов RUProm.net и UAProm.net
забанили этого бота через robots.txt. Но сегодня они выяснили, что это
приводит к мстительному эффекту - "Яндекс" вообще перестал
индексировать их сайт. Пришлось заменить полный запрет бота (Disallow)
на уменьшение частоты доступа (Crawl-delay).
Стоит заметить, что уже не первый случай сумасшествия поисковых
пауков. В начале мая хостинг-компания "Мастерхост" перестала пускать
роботов "Яндекса" на сайты своих клиентов, так как эти роботы тоже
производили эффект DoS-атаки. Представители робота объяснились типично:
Александр Садовский заявил, что это связано всего лишь с переносом
обхода сайтов ботами с ночного времени на дневное, и назвал DoS-защиту
"Мастерхоста" несложной - дескать, это она ошиблась, а вовсе не
"Яндекс".
