Как в логах сервера представляется робот

В "Яндексе" используются, на данный момент, 16 модификаций поискового робота, которые решают различные задачи. Полный список модификаций и краткое описание их функционала:

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) — основной индексирующий робот;

Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots) — индексатор Яндекс.Картинок;

Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) — индексатор Яндекс.Видео;

Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) — робот, индексирующий мультимедийные данные;



Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots) — робот поиска по блогам, индексирующий комментарии постов;

Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)— робот, индексирующий пиктограммы сайтов (favicons);

Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)— робот, обращающийся к странице при добавлении ее через форму «Добавить URL»;

Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots)— робот, обращающийся к странице при валидации микроразметки через форму «Валидатор микроразметки»;

Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots) — робот мобильных сервисов;

Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса;

Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel; +http://yandex.com/bots) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией;

Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots) — робот Яндекс.Метрики;

Mozilla/5.0 (compatible; YandexNews/3.0; +http://yandex.com/bots) — робот Яндекс.Новостей;

Mozilla/5.0 (compatible; YandexCatalog/3.0; +http://yandex.com/bots) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге;

Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots) — антивирусный робот, который проверяет страницы на наличие опасного кода.

Mozilla/5.0 (compatible; YandexZakladki/3.0; +http://yandex.com/bots) — простукивалка Яндекс.Закладок. Используется для проверки доступности страниц, добавленных в закладки.

IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Поэтому мы не разглашаем их список и не рекомендуем использовать фильтрацию на их основе.