Python--网络爬虫介绍

一、什么是网络爬虫

在随着大数据时代的到来，网络爬虫在互联网中的地位也越来越重要。而互联网中的数据是海量存在的，那么我们如何自动高效地获取互联网中我们感兴趣的信息并为我们所用就成了一个重要的问题，而爬虫技术就是为了解决这些问题而产生的。

网络爬虫：

网络爬虫是一种按照一定规则，自动抓取万维网信息的程序或脚本。

简单的说，就是用实现写好的程序去抓取网络上所需的数据，这样的程序就叫网络爬虫。

二、爬虫分类

网络爬虫根据使用的场景分为通用爬虫和聚焦爬虫。

1、通用爬虫

通用爬虫是搜索引擎抓取系统的重要组成部分。主要是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。

2、聚焦爬虫

聚焦爬虫是面向特定主题需求的一种网络爬虫程序。它与通用搜索引擎爬虫的区别在于：聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息。

三、为什么学习网络爬虫

1、学习爬虫，我们可以私人订制一个搜索引擎，并且可以更好的对搜索引擎的数据采集工作原理进行更深层次地理解。

其实，在我们学会了爬虫代码的编写之后，就可以利用爬虫自动地采集互联网中的信息，采集回来后对数据进行相应的存储或处理，在需要检索某些信息的时候，只需在采集回来的数据中进行检索，当然，信息怎么爬取、怎么存储、都是需要我们进行设计的，爬虫技术主要解决信息爬取的问题。

2、随着大数据时代到来，需要进行数据分析，而学习网络爬虫，可以让我们获取更多的数据，并且这些数据可以按我们的目的进行筛选，去掉很多无关数据。

3、从就业的角度来分析，爬虫工程师目前来说属于紧缺人才，并且薪资待遇普遍较高，所以，深层次地掌握这门技术，对于就业来说，也是非常有利的。有些朋友学习爬虫技术可能为了提升自己或者跳槽。其实从这个角度来说，因为目前爬虫工程师的需求越来越大，而能够胜任这方面岗位的人员较少，所以目前市场处在一个比较紧缺的职业方向，并且随着大数据时代的来临，爬虫技术的应用也越来越广泛，在未来的发展空间也会越来越大。

四、关于爬虫的工作分析

1、初级爬虫工程师

从事初级爬虫工程师需要我们掌握以下几点：

1）、web前端的知识：HTML，css，js，Ajax，jQuery等；

2）、正则表达式，能通过正则表达式提取在网页中的信息，比如特殊的文字，链接信息等；

3）、会使用Xpath等获取一些DOM结构中的节点信息；

4）、要知道什么是深度优先和广度优先的抓取算法及实践中的使用规则；

5）、能分析简单的网站结构，会使用urllib或requests库进行简单的数据抓取。

2、中级爬虫工程师

从事中级爬虫工程师需要掌握以下几点：

1）、了解什么是HASH，会简单的使用MD5，SHA1等算法对数据进行HASH一遍存储；

2）、熟悉HTTP和HTTPS协议的基础知识，了解GET和POST方法，了解HTTP头中的信息，包括返回的状态码，编码，U-A，cookie，session等；

3）、能设置user-agent进行数据爬取，设置代理等；

4）、知道什么是request，什么是response，会使用fiddler等工具抓取及分析简单的网络数据包；对于动态网络爬虫，要学会分析ajax请求，模拟制造post数据包请求，抓取客户端session等信息，对于一些简单的网站，能够通过模拟数据包进行自动登录；

5）、对于一些难搞定的网站学会使用phantomjs+selenium抓取一些动态网页信息；

6）、并发下载，通过并行下载加速数据爬取，多线程的使用。

3、高级爬虫工程师

从事高级爬虫工程师需要掌握以下几点：

1）、能进行网页验证码的破解；

2）、能破解网站的数据加密；

3）、会使用常用的数据库进行数据存储，查询，以及如何通过缓存避免重复下载问题；

4）、能使用一些开源框架Scrapy,Scrapy-Redis等分布式爬虫，能部署掌控分布式爬虫进行大规模数据爬取。
仅供参考