yandex bot user agent

本文详尽列举了 Yandex 各种爬虫的 User-Agent,包括其功能、是否遵守 robots.txt 协议,帮助网站管理员识别和理解 Yandex 的网络活动。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

爬虫识别网站收集和整理了 yandexbot 所有的 user-agent,方便大家识别 yandexbot。

yandexbot user-agent 列表

Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.com/bots)

说明:YandexAccessibilityBot 下载页面以检查用户的可访问性。它每秒最多向站点发送 3 个请求。机器人会忽略Yandex.Webmaster 界面中的设置。

是否遵守 robots.txt 协议:否

Mozilla/5.0 (compatible; YandexAdNet/1.0; +http://yandex.com/bots)

说明:Yandex 广告机器人

是否遵守 robots.txt 协议:是

Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots)

说明:索引帖子评论的博客搜索机器人。

是否遵守 robots.txt 协议:是

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

说明:yandex 搜索引擎主要索引机器人

是否遵守 robots.txt 协议:是

Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)

说明:检测站点镜像机器人

是否遵守 robots.txt 协议:是

Mozilla/5.0 (compatible; YandexCalendar/1.0; +http://yandex.com/bots)

说明:Yandex.Calendar 机器人。根据用户的请求下载日历文件。这些文件通常位于禁止索引的目录中。

是否遵守 robots.txt 协议:否

Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)

说明:下载有关 Yandex Advertising 网络合作伙伴网站内容的信息,以识别其主题类别以匹配相关广告。

是否遵守 robots.txt 协议:否

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值