本文介绍了网络爬虫中如何遵循robots协议，包括京东、百度等网站的具体robots设置，强调了遵守协议以避免法律风险的重要性。同时，文章指出，即使无明确协议，也应低频爬取且不得用于商业用途。
前言
上一节学习了requests库，这一节学习robots协议
限制爬虫的方法
- 审查爬虫来源，需要网站作者有一定的编程基础
- 声明robots协议，一般放在网站的根目录下，robots.txt文件
京东robots协议
User-agent: *
Disallow: /?*
Disallow: /pop/.html
Disallow: /pinpai/.html?*
User-agent: EtaoSpider
Disallow: /
User-agent: HuihuiSpider
Disallow: /
User-agent: GwdangSpider
Disallow: /
User-agent: WochachaSpider
Disallow: /
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
