python phantomjs+ selenium2 抓取动态js网页(版本python2.7+)

最新推荐文章于 2024-06-20 11:40:09 发布

转载最新推荐文章于 2024-06-20 11:40:09 发布 · 158 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://yq.aliyun.com/articles/70077

文章标签：

#python

本文介绍了如何使用PhantomJS和Selenium进行网页自动化操作，包括网页截图、URL获取等基本功能。通过编写简单的JavaScript脚本，可以实现对网页的自动化访问与数据抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、下载phantomjs linux版本

解压即可

单独使用方法：../bin/phantomjs create_img.js xxx.com(可选)

示例，抓取网页截图：

建立一个pageload.js文件

编写以下js

var page = require('webpage').create();
page.open('http://cuiqingcai.com', function (status) {
    console.log("Status: " + status);
    if (status === "success") {
        page.render('example.png');
    }
    phantom.exit();
});

运行

phantomjs pageload.js

会在当前目录下看到截图

2、pip安装selenium

pip install selenium

3、selenium+phantomjs 结合写python文件

#!/usr/bin/python
#encoding:utf-8

from selenium import webdriver
#写phantomjs执行文件地址
driver = webdriver.PhantomJS(executable_path='/usr/local/soft_download/python_file/phantomjs/bin/phantomjs')
driver.get("http://mofangdata.cn/")
#driver.find_element_by_id('search_form_input_homepage').send_keys("Nirvana")
#driver.find_element_by_id("search_button_homepage").click()
print driver.current_url
driver.quit()

注意给python 执行权限 chmod u+x 文件名
运行 ./xx.py