Python 从爬虫到数据分析（一）定义

为什么80%的码农都做不了架构师？>>>   

1.什么是爬虫？

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据。

2.爬虫可以做什么？

你可以爬取淘宝商品，爬取妹子的图片，爬取自己想看看的视频。。等等，只要你能通过浏览器访问的数据都可以通过爬虫获取

利用爬虫我们可以获取大量的价值数据，从而获得感性认识中不能得到的信息，比如：

知乎：爬取优质答案，为你筛选出各话题下最优质的内容。 
淘宝、京东：抓取商品、评论及销量数据，对各种商品及用户的消费场景进行分析。

3.爬虫的本质是什么？

模拟浏览器打开网页，获取网页中我们想要的那部分数据

浏览器打开网页的过程：
当你在浏览器中输入地址后，经过DNS服务器找到服务器主机，向服务器发送一个请求，服务器经过解析后发送给用户浏览器结果，包括html,js,css等文件内容，浏览器解析出来最后呈现给用户在浏览器上看到的结果

所以用户看到的浏览器的结果就是由HTML代码构成的，我们爬虫就是为了获取这些内容，通过分析和过滤html代码，从中获取我们想要资源（文本，图片，视频.....）

4.爬虫的结果可以做什么？

通过爬虫获取到大量的结果，可以进行数据分析来合理化安排。例如：

    （1）.商家通过爬取淘宝单品的数据，分析出该单品受众的喜爱款式。合理化自己商品的销售计划，以及补货方向。

    （2）.个人通过爬取知乎某一个问题的相关结果，从而得到一个更加合理化的结论。

另外，这在个大数据时代，只要你有了大量的数据，并且合理化时候这些数据，那么成功就指日可待！

转载于:https://my.oschina.net/665544/blog/1942472