pyton利用pyqt5的QWebkit抓取javascript执行后的动态网页

对于 javascript 动态创建网页标签生成的网页，用python的urllib2抓取不到最终的网页。

使用Qt的QWebkit组件可以模拟浏览器执行javascript并讲最终网页提取出来。

之前网上有很多关于pyqt4抓取动态网页的帖子，但是pyqt5与pyqt4有细微不同，纪录下来以备后面查看。

import sys
from PyQt5.QtWidgets import *
from PyQt5.QtCore import *
from PyQt5.QtWebKitWidgets import *

#use QtWebkit to get the final webpage
class WebRender(QWebPage):
    def __init__(self, url):
        self.app = QApplication(sys.argv)
        QWebPage.__init__(self)
        self.loadFinished.connect(self.__loadFinished)
        self.mainFrame().load(QUrl(url))
        self.app.exec_()

    def __loadFinished(self, result):
        self.frame = self.mainFrame()
        self.app.quit()

 r = WebRender(url)
        html = r.frame.toHtml()
        page = etree.HTML(html.encode('utf-8'))

注意：

1、PyQt5的 QWebPage 要从 PyQt5.QtWebKitWidgets 导入，QApplication 要从 PyQt5.QtWidgets 导入

2、r.frame.toHtml() 得到的html要encode成utf-8，以支持对中文字符的支持