爬虫Robots协议

最新推荐文章于 2022-03-26 20:33:14 发布

原创最新推荐文章于 2022-03-26 20:33:14 发布 · 713 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

python爬虫专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了京东网站的Robots协议内容，包括不同类型的爬虫所遵循的具体规则，例如禁止特定爬虫访问所有资源等。此外，还提到了并非所有网站都会设置Robots协议。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

京东Robots协议：
http://www.jd.com/robots.txt

User-agent: *                   #无论任何爬虫都应遵守如下协议
Disallow: /?*                   #任何爬虫都禁止访问以？开头的路径
Disallow: /pop/*.html           #任何爬虫都禁止访问pop/*.html
Disallow: /pinpai/*.html?*      #符合此通配符的依旧不允许爬虫访问
User-agent: EtaoSpider          #以下四个爬虫禁止访问任何资源
Disallow: /
User-agent: HuihuiSpider
Disallow: /
User0agent: GwdangSpider
Disallow: /
User-agent: WochachaSpider
Disallow: /


#其中*代表所有，/代表根目录