爬虫识别网站收集和整理了 yandexbot 所有的 user-agent,方便大家识别 yandexbot。
yandexbot user-agent 列表
Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.com/bots)
说明:YandexAccessibilityBot 下载页面以检查用户的可访问性。它每秒最多向站点发送 3 个请求。机器人会忽略Yandex.Webmaster 界面中的设置。
是否遵守 robots.txt 协议:否
Mozilla/5.0 (compatible; YandexAdNet/1.0; +http://yandex.com/bots)
说明:Yandex 广告机器人
是否遵守 robots.txt 协议:是
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots)
说明:索引帖子评论的博客搜索机器人。
是否遵守 robots.txt 协议:是
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
说明:yandex 搜索引擎主要索引机器人
是否遵守 robots.txt 协议:是
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)
说明:检测站点镜像机器人
是否遵守 robots.txt 协议:是
Mozilla/5.0 (compatible; YandexCalendar/1.0; +http://yandex.com/bots)
说明:Yandex.Calendar 机器人。根据用户的请求下载日历文件。这些文件通常位于禁止索引的目录中。
是否遵守 robots.txt 协议:否
Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
说明:下载有关 Yandex Advertising 网络合作伙伴网站内容的信息,以识别其主题类别以匹配相关广告。
是否遵守 robots.txt 协议:否