Поисковые роботы

Рубрика: Блог

Список поисковых роботов.
Основные:
aport Aport.ru bot
Googlebot/2.1 (+https://www.google.com/bot.html) Google
Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp) Yahoo!
msnbot/1.0 (+https://search.msn.com/msnbot.htm) MSN Search
StackRambler/2.0 (MSIE incompatible) Rambler.ru bot
Yandex/1.01.001 (compatible; Win16; H) «зеркальщик» Яндекса, т.е. робот, определяющий зеркала
сайтов.
Yandex/1.01.001 (compatible; Win16; I) индексирующий робот Яндекса.
Yandex/1.01.001 (compatible; Win16; P) индексатор картинок Яндекса.
Yandex/1.03.000 (compatible; Win16; M) подсветчик, робот, обращающийся к странице по ссылке
«Найденные слова» и «подсвечивающий» слова запроса в ее тексте.
Yandex/1.03.003 (compatible; Win16; D) робот, обращающийся к странице при добавлении ее через
форму «Добавить URL».