selenium + PhantomJS 爬取js页面

最新推荐文章于 2025-08-04 19:52:09 发布

weixin_30519071

最新推荐文章于 2025-08-04 19:52:09 发布

阅读量68

点赞数

CC 4.0 BY-SA版权

文章标签： python

原文链接：http://www.cnblogs.com/gaigaige/p/7843491.html

本文介绍如何利用PhantomJS结合Selenium获取指定网址的内容，并通过实例演示了解析下载链接的方法。文中还分享了一个小技巧，即如何通过urllib.parse.unquote处理经过特殊编码的URL。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from selenium import webdriver
import time
_url="http://xxxxxxxx.com"
driver = webdriver.PhantomJS()
driver.get(_url)
time.sleep(5)
webdata=driver.page_source
#这样就得到了web页面的内容,最好加个延时页面加载需要时间
#下面的就可以对这个页面进行爬取了
.
.
.
.
# 最好要记得关闭浏览器
driver.quit()

在这里标记一个小坑：在爬取页面的下载连接时，出现这样的：http%3A%2F%2Ftencent.myaora.net%2Ftest%2Fupload%2Fopen%2F2017%2F03%2F48023%2Fapk%2F20171114142640_380_0290.apk
一堆的%+大写字母+数字 混淆了真实地址，解决方法就是：

download_url="http%3A%2F%2Ftencent.myaora.net%2Ftest%2Fupload%2Fopen%2F2017%2F03%2F48023%2Fapk%2F20171114142640_380_0290.apk"

urllib.parse.unquote(download_url)# quote & unquote 可以将连接“加密和解密”