爬虫数据采集

经常有小伙伴需要将互联网上的数据保存的本地，而又不想自己一篇一篇的复制，我们第一个想到的就是爬虫，爬虫可以说是组成了我们精彩的互联网世界。

网络搜索引擎和其他一些网站使用网络爬虫或蜘蛛软件来更新他们的网络内容或其他网站的网络内容索引。网络爬虫复制页面以供搜索引擎处理，搜索引擎对下载的页面进行索引，以便用户可以更有效地搜索。

这都是爬虫数据采集的功劳。这篇文章我总结了爬虫数据采集的说有流程，从最开始的最简单的基本爬虫，到爬虫所采集到的数据如何存储，以及我们如何绕过一些反爬措施，来获取我们需要的数据，进行爬虫的数据采集：

• 爬虫介绍：主要介绍了什么是爬虫，以及爬虫可以干什么？

• 爬虫所带来的道德风险与法律责任：这篇文章主要介绍了我们在做数据采集的时候，什么可以采集，什么不能采集，由于不当采集给我们带来的法律风险，我们需要注意的一些问题。

• 连接网站与解析 HTML：这篇文章主要介绍了我们如何使用爬虫去连接网站，并将网站我们需要的内容解析出来。