学习笔记之——网络爬虫的Robots协议

一、 网络爬虫的尺寸

1. 小规模、数据量小，爬取速度不敏感，Requests库，>90%——爬去网页，玩转网页。
2. 中规模，数据规模较大，爬取速度敏感，Scrapy库——爬取网站，爬取系列网站。
3. 大规模，搜索引擎，爬取速度关键，定制开发——爬取全网。

二、爬虫的风险

1. 给Web服务器造成巨大的资源开销。
2. 服务器上的数据有产权归属，网络爬虫获取数据后牟利将带来法律风险。
3. 网络爬虫可能具备突破简单访问控制的能力，获得被保护数据，从而泄露个人隐私。

三、网络爬虫限制

1. 来源审查：判断User‐Agent进行限制
2. 检查来访HTTP协议头的User‐Agent域，只响应浏览器或友好爬虫的访问
3. 发布公告：Robots协议
4. 告知所有爬虫网站的爬取策略，要求爬虫遵守

四、Robots协议

1. Robots协议

Robots Exclusion Standard，网络爬虫排除标准
作用：网站告知网络爬虫哪些页面可以抓取，哪些不行
形式：在网站根目录下的robots.txt文件

Robots协议基本语法——# 注释，*代表所有，/代表根目录

User‐agent: *
Disallow: /
例如：京东的Robots协议
https://www.jd.com/robots.txt
User‐agent: *
Disallow: /?*
Disallow: /pop/*.html
Disallow: /pinpai/*.html?*
User‐agent: EtaoSpider