爬虫之Splash基础篇

一 点睛

Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，我们同样可以实现动态渲染页面的抓取。

二 功能介绍

利用Splash，我们可以实现如下功能：

• 异步方式处理多个网页渲染过程；

• 获取渲染后的页面的源代码或截图；

• 通过关闭图片渲染或者使用Adblock规则来加快页面渲染速度；

• 可执行特定的JavaScript脚本；

• 可通过Lua脚本来控制页面渲染过程；

• 获取渲染的详细过程并通过HAR（HTTP Archive）格式呈现。

三 Splash服务的安装

1 通过Docker安装Splash的服务

[root@master ~]# docker run -p 8050:8050 scrapinghub/splash

2 测试安装是否成功

访问http://localhost:8050/

四