《跟我一起学爬虫系列》1-爬虫简介

什么是爬虫

爬虫就是一段自动化程序，模拟真实的人类访问网络的方式，快速的从网络获取数据。如果法律允许，爬虫可以采集你在网页上看到的任何数据

形象一点，我们可以把爬虫想象成一个机器人，它不知疲倦的打开网页，收集我们需要的数据，当然，这个机器人的手速比我们快了不知道多少倍

爬虫能做什么

这个自行百度即可，爬虫技术较容易被一些不怀好意的人利用来做一些游走在法律边缘的事情

爬虫怎么抓数据

• 确定需要爬取的网页URL地址
• 通过HTTP/HTTPS协议来获取对应的HTML页面
• 提取HTML页面里有用的数据

1.     如果是需要的数据，就保存起来
2.     如果是页面里的其他URL，那就继续执行第二步

为什么选择Python

我想主要是支持的模块炒鸡的多，以及简洁的语法，极高的开发效率。虽然python的执行效率低，然而爬虫的效率在网络IO，python本身的效率无足亲重