JS渲染引擎比较HtmlUnit/Selenium/PhantomJs

最新推荐文章于 2021-03-29 20:27:54 发布

菜的抠脚弟弟

最新推荐文章于 2021-03-29 20:27:54 发布

阅读量4.8k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：【爬虫】文章标签：爬虫

本文链接：https://blog.youkuaiyun.com/w305172521/article/details/74853089

本文对比了HtmlUnit、Selenium和PhantomJs三种JS渲染引擎，针对爬虫在处理单页面应用和异步请求时的需求。实测推荐在大量任务中使用PhantomJs作为服务端。文章提供了本地和远程服务端的使用示例，强调在选择工具时应基于业务需求和理解。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

JS渲染引擎比较HtmlUnit/Selenium/PhantomJs

现如今的爬虫再也不是简单的爬取静态页面，解析Html文本这么简单，许多单页面应用，异步请求调用，页面初始化js渲染等技术的使用，使得传统的通过发起http请求获得的Document无法直接使用。因此，基于实际业务需求，在爬取某电商平台数据时，发现其页面特定位置为js渲染，固此，由此一文，基于实际代码测试，分析HtmlUnit/Selenium/PhantomJs三类流行的js渲染引擎。

-HtmlUnit

1) 内置Rhinojs浏览器引擎，没有哪一款浏览器使用该内核
2) 解析速度一般
3) 解析JS/CSS差
4) 无浏览器界面

- Selenium

1) Seleninum 1+ WebDriver = Selenium
2) 基于本地安装的浏览器，需打开浏览器
3) 需要引用相应的WebDriver，正确配置webdriver的路径参数
4) 在爬取大量js渲染页面时明显不合适

- PhantomJs

1) 神器，短小精悍
2) 可本地化运行，也可作为服务端运行
3) 基于webkit内核，性能及表现良好
4) 完美解析绝大部分页面

基于实测结果，在爬取大量任务时，推荐将PhantomJs作为服务端使用，此处，分别介绍本地及远程服务端使用例子（也可查看官网example）

本地

需要构造目标执行的js文件，利用命令行调用PhantomJS
示例：
window平台下
PhantomJs.exe target.js param1

对应的本地target.js可参考如下示例：

"use strict";
var page = require('webpage').create();
var system = require('system');
if (system.args.length !== 2) {
    console.log('Usage: server.js <some port>');
    phantom.exit(1);
} else {
    var url = system.args[