Python网络爬虫案例实战：爬虫网络概述-网络爬虫合法性

网络爬虫合法吗？
网络爬虫目前还属于早期的拓荒阶段，虽然互联网世界已经通过自身的协议建立了一定的道德规范（Robots 协议），但法律部分还在建立和完善中。从目前的情况来看，如果爬取的数据属于个人或科研范畴，基本不存在问题；而如果数据属于商业盈利范畴，就要就事而论，有可能属于违法行为，也有可能不违法。

1.3.1Robots 协议

Robots 协议（爬虫协议）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），
网络通过Robots 协议告诉搜索引擎哪些页面可以爬取，哪些页面不能爬取。该协议是国际互联网界通告的道德规范，虽然没有写入法律，但是每一个爬虫都应该遵守这项协议。
下面以淘宝网的robots.txt为例进行介绍。
这里仅截取部分代码，查看完整代码可以访问https://www.taobao.com/robots.txt。
在这里插入图片描述

在上面的robots文件中，淘宝网对用户代理为百度爬虫引擎进行了规定。
以Allow 项为开头的URL是允许robot访问的。例如，Allow:/article 允许百度爬虫引擎访问/article.htm 和/article/12345.com等。
以 Disallow项为开头的链接是不允许百度爬虫引擎访问的。例如，Disallow：/product/不允许百度爬虫引擎访问/product/12345.com等。
最后一行，“Disallow:/"禁止百度爬虫访问除了Allow 规定页面以外的其他所有页面。
因此，当你在百度