爬虫之Splash基础篇

Splash渲染服务详解

一 点睛

Splash是一个JavaScript渲染服务,是一个带有HTTP API的轻量级浏览器,同时它对接了Python中的Twisted和QT库。利用它,我们同样可以实现动态渲染页面的抓取。

二 功能介绍

利用Splash,我们可以实现如下功能:

  • 异步方式处理多个网页渲染过程;

  • 获取渲染后的页面的源代码或截图;

  • 通过关闭图片渲染或者使用Adblock规则来加快页面渲染速度;

  • 可执行特定的JavaScript脚本;

  • 可通过Lua脚本来控制页面渲染过程;

  • 获取渲染的详细过程并通过HAR(HTTP Archive)格式呈现。

三 Splash服务的安装

1 通过Docker安装Splash的服务

[root@master ~]# docker run -p 8050:8050 scrapinghub/splash

2 测试安装是否成功

访问http://localhost:8050/

四 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值