爬虫

网络爬虫（网页蜘蛛、网络机器人）
爬虫就是模拟客户端发送网络请求，接收请求对应的响应，一种按照一定的规则，自动的抓取互联网信息的程序。

理论上来说，只要用户通过 客户端（浏览器） 能够做到的事情，爬虫都能够去做

• 爬虫：模拟客户端访问，抓取数据
• 反爬：保护重要数据，阻止恶意网站攻击
• 反反爬：针对反爬做的措施

爬虫的分类：

• 通用爬虫：通常指搜索引擎和大型Web服务提供商的爬虫
• 聚焦爬虫：针对特定网站的爬虫，定向的获取某方面数据的爬虫
• 累积式爬虫：从开始到结束，不断进行爬取，过程中进行去重操作
• 增量式爬虫：已下载网页采取增量式更新和只爬取新产生的或者已经发生变化网页的爬虫
• Deep web爬虫（深层网络爬虫）：不能通过静态链接获取的，隐藏在搜索单后的，只有用户提交一些关键词才能获得的 web页面

数据时代到来，数据变得值钱，那么数据的来源有哪些呢？

• 去第三方公司购买数据（比如 企查查）
• 去免费的数据网站下载数据（比如 国家统计局）