pyton利用pyqt5的QWebkit抓取javascript执行后的动态网页

最新推荐文章于 2024-12-10 17:23:38 发布

wolfwind

最新推荐文章于 2024-12-10 17:23:38 发布

阅读量4.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： pyqt python 网页爬取

本文链接：https://blog.youkuaiyun.com/Wolfwind521/article/details/42126549

python 专栏收录该内容

3 篇文章

订阅专栏

本文介绍如何利用PyQt5中的QWebkit组件来抓取由JavaScript动态生成的网页内容，并提供了一个简单的示例代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

对于 javascript 动态创建网页标签生成的网页，用python的urllib2抓取不到最终的网页。

使用Qt的QWebkit组件可以模拟浏览器执行javascript并讲最终网页提取出来。

之前网上有很多关于pyqt4抓取动态网页的帖子，但是pyqt5与pyqt4有细微不同，纪录下来以备后面查看。

import sys
from PyQt5.QtWidgets import *
from PyQt5.QtCore import *
from PyQt5.QtWebKitWidgets import *

#use QtWebkit to get the final webpage
class WebRender(QWebPage):
    def __init__(self, url):
        self.app = QApplication(sys.argv)
        QWebPage.__init__(self)
        self.loadFinished.connect(self.__loadFinished)
        self.mainFrame().load(QUrl(url))
        self.app.exec_()

    def __loadFinished(self, result):
        self.frame = self.mainFrame()
        self.app.quit()

 r = WebRender(url)
        html = r.frame.toHtml()
        page = etree.HTML(html.encode('utf-8'))

注意：

1、PyQt5的 QWebPage 要从 PyQt5.QtWebKitWidgets 导入，QApplication 要从 PyQt5.QtWidgets 导入

2、r.frame.toHtml() 得到的html要encode成utf-8，以支持对中文字符的支持