关于爬虫（上课资料）

 爬虫，即网络爬虫，也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。

可以把它理解为在网络上爬行的一只蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛，如果它遇到自己的猎物（所需要的资源），那么它就会将其抓取下来

 所以我们经常说，爬虫能通过网址获得网络中的数据、然后根据目标解析数据、存储目标信息，可以节省大量的人力物力。

简单地说，网络爬虫就是获取互联网公开数据的自动化工具。

像百度、google本质上就是超级爬虫

百度搜索引擎的爬虫叫作百度蜘蛛。
百度蜘蛛每天会在海量的互联网信息中进行爬取，爬取优质信息并收录，
当用户在百度搜索引擎上检索对应关键词时，百度将对关键词进行分析处理，从收录的网页中找出相关网页，按照一定的排名规则进行排序并将结果展现给用户。

大数据时代也离不开爬虫。
比如在进行大数据分析或数据挖掘时，我们可以去一些比较大型的官方站点下载数据源。
但这些数据源比较有限，那怎样才可以获取更多更高质量的数据源呢？

这个时候，我们就可以编写自己的爬虫程序，从互联网中进行数据信息的获取。所以在未来，爬虫的地位会越来越重要。

知道了爬虫是什么，那爬虫可以做些什么？

1、爬虫可以抓取某个网站或者某个应用的内容，批量提取有用的价值。

比如想把知乎上某一个问题的高赞答案全部抓取到本地并保存，
或者搜集众多机票网站的航班价格信息做价格对比，

各种论坛、股吧、微博、公众号的舆情分析，
爬出四级的高频单词等。这些都归属于爬虫类，至少前期的数据搜集是属于爬虫的范畴。投票神器、
点赞神器、
预测（股市预测、票房预测）、
社交关系网络、等等一系列
以上都可以用爬虫实现。

2、还可以用python爬虫一键爬取热门公众号文章，几千个爆款标题瞬间抓取。

3、无论是财务、设计师或者是录单员，各行各业的都是可以用得上Python来帮助你提高效率！

比如我们之前就有学生用python去爬取旅游数据，轻轻松松就完成了毕业论文，python可是一个论文利器哦。

同时，网络爬虫也可以用于金融投资领域，比如可以自动爬取一些金融信息，并进行投资分析等

比如，平常我们在浏览网页上的信息的时候，会发现有很多广告。
这时，就可以利用爬虫将对应网页上的信息爬取过来，
自动过滤掉这些广告，方便阅读和使用

当然还有很多很多很酷的例子，更多的内容大家随随便便去网上搜“爬虫可以做哪些好玩的事”都可以看的到。

总之，爬虫可以代替手工做很多事情，把你从重复性工作中解放出来

 1:接外包爬虫项目：这是网络爬虫最通常的的挣钱方式，通过外包网站，熟人关系接一个个中小规模的爬虫项目，一般向甲方提供数据抓取，数据结构化，数据清洗等服务。接外包的地方在国内有一品威客，a5外包等，国外有freelancer，freelancer上挣的是美刀。

2:爬虫技术挣钱方法：整合信息、整合数据做产品。简单说就是抓取分散在各个角落的信息，整合后用网站或微信或APP呈现出来，以通过网盟广告，电商佣金，直接售卖电商产品或知识付费来变现。关于信息整合，去哪儿和天眼查这两家公司是比较典型的。去哪儿是整合各家航空公司的机票价格，方便用户比对哪个航班的价格便宜；天眼查是整合各个省市的企业工商信息，提供多纬度的企业信息，股东信息查询，节省了用户不少时间。机票信息和工商信息在没有这两家公司之前也都是存在的，但是都散落在不同的网站上，用户查询时就比较费劲，这两家就是把这些信息抓取，处理，聚合到一块来提供查询服务。

3:爬虫挣钱方法：做决策的数据依据，比如买卖股票。