Python网络爬虫从入门到实践 -- chapter 1 -- 网络爬虫入门
1 Robots协议
Robots协议(爬虫协议)全称网络爬虫排除标准,网站通过Robots协议告诉搜索引擎哪些页面可以抓取(Allow:/),哪些不能抓取(Disallow:/)。这个协议是国际互联网界遵守的道德规范。
在进行爬虫时要对自己的爬虫行为自我管理,过快或者过于密集的网络爬虫会对服务器产生巨大的压力。因此要遵守Robots协议,约束爬虫速度;使用爬到的数据时遵守网站的知识产权。
...
原创
2019-08-28 20:06:06 ·
552 阅读 ·
0 评论