pyton利用pyqt5的QWebkit抓取javascript执行后的动态网页

本文介绍如何利用PyQt5中的QWebkit组件来抓取由JavaScript动态生成的网页内容,并提供了一个简单的示例代码。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

对于 javascript 动态创建网页标签生成的网页,用python的urllib2抓取不到最终的网页。

使用Qt的QWebkit组件可以模拟浏览器执行javascript并讲最终网页提取出来。

之前网上有很多关于pyqt4抓取动态网页的帖子,但是pyqt5与pyqt4有细微不同,纪录下来以备后面查看。


import sys
from PyQt5.QtWidgets import *
from PyQt5.QtCore import *
from PyQt5.QtWebKitWidgets import *

#use QtWebkit to get the final webpage
class WebRender(QWebPage):
    def __init__(self, url):
        self.app = QApplication(sys.argv)
        QWebPage.__init__(self)
        self.loadFinished.connect(self.__loadFinished)
        self.mainFrame().load(QUrl(url))
        self.app.exec_()

    def __loadFinished(self, result):
        self.frame = self.mainFrame()
        self.app.quit()

 r = WebRender(url)
        html = r.frame.toHtml()
        page = etree.HTML(html.encode('utf-8'))

注意:

1、PyQt5的 QWebPage 要从 PyQt5.QtWebKitWidgets 导入,QApplication 要从 PyQt5.QtWidgets 导入

2、r.frame.toHtml() 得到的html要encode成utf-8,以支持对中文字符的支持

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值