爬虫基本原理

爬虫概述

简单来说，爬虫就是获取网页并提取和保存信息的自动化程序。

获取网页

爬虫首先要做的工作就是获取网页，这里就是获取网页的源代码。
源代码里包含了网页的部分有用信息，所以只要把源代码获取下来，就可以从中提取想要的信息了。

我们知道浏览器向服务器发送一个请求，返回的响应体就是网页的源代码。所以，爬虫最关键部分就是构造一个请求并发送给服务器，然后接收到响应并将其解析出来，这个流程我们可以借助Python中的urllib、request等库来完成HTTP请求操作，请求和响应都可以用库提供的数据结构来表示，得到响应后只需要解析数据结构中Body部分即可，即得到网页的源代码。

提取信息

获取网页源代码后，接下来就是分析网页源代码，从中提取我们想要的数据。首先，最通用的方法就是采用正则表达式，这是一个万能的方法，但是不建议使用它来解析网页源代码，因为构造正则表达式时比较复杂而且还容易出错。

由于网页的结构有一定的规则，比如说某节点有着某属性、某样式，所以我们可以采用Beautiful Soup、lxml等第三方扩展库来高效地从中提取网页的信息，如节点的属性、文本值等。

保存数据

提取信息后，我们一般会将提取到的数据保存到某处以便后续使用。保存信息的形式有多种多样，比如我们可以简单的保存为TXT文本或者时JSON文本，也可以保存到关系型数据库或非关系型数据库，如MySQL和MongoDB等。

自动化程序

说到自动化程序，意思是说程序可以代替人来完成这些操作。当然我们手工也可以完成这些操作，但是当信息量特别大或者向快速获取大量数据的话，肯定还是要借助程序来帮我们完成。爬虫就是代替我们来完成这份工作的自动化程序，它可以在抓取的过程中进行各种异常处理、错误重试等操作，确保爬去持续高效地运行。

能抓取什么样的数据

在网页中我们能看到各种各样的信息，最常见的便是常规的网页，它们对应着HTML代码，而最常抓取的便是HTML源代码。

另外，可能有些网页返回的不是HTML代码，而是一个JSON字符串（其中API接口大多采用这样的形式），因为这种格式的数据方便传输和解析，同样可以抓取，这种数据提取更方便。

此外，我们还可以看到各种各样二进制数据，比如图片、音频等。利用爬虫，我们可以将这些二进制数据爬取下来，然后保存成对应的文件名。

另外，还可以看到各种各样扩展名的文件，如css、js等文件，这些其实也是最普通的文件，只要在浏览器里面可以访问到，就可以将其爬取下来。

JavaScript渲染页面

有时候，我们用urllib或request抓取网页时，得到的源代码实际和浏览器看到的不一样。

这是一个非常常见的问题，现在网页越来越多地采用Ajax、前端模块化工具来构建，比如vue等框架，采用Ajax、前端模块化工具来构建的网页有可能都是由JavaScript渲染出来的，也就是说原始的HTML代码是一个空壳。如图所示：

body节点里面只有一个id为app的节点，但是需要注意的是在body节点后引入了app.js，它便是负责整个网站的渲染。

在浏览器中打开这个页面时，首先会加载这个HTML内容，接着浏览器会发现其中引入了一个app.js文件，然后便会接着去请求这个文件，获取到该文件后，便会执行其中的JavaScript代码，而JavaScript则会改变HTML中的节点，向其添加内容，最后得到完整的页面。

但是在用urllib或request等库请求当前页面时，我们得到的只是这个HTML代码，它不会帮助我们去继续加载这个JavaScript文件，这样也就看不到浏览器中的内容了。

这也解释了为什么有时我们得到的源代码额浏览器中看到的不一样。

因此，使用基本HTTP请求库得到的源代码可能和浏览器中的页面不太一样。对于这样的情况，我们可以分析其后台Ajax接口，也可以使用Selenium、Splash这样的库来实现模拟JavaScript渲染。

参考文档

崔庆才老师的《Python3 网络爬虫开发实战》