对于 javascript 动态创建网页标签生成的网页,用python的urllib2抓取不到最终的网页。
使用Qt的QWebkit组件可以模拟浏览器执行javascript并讲最终网页提取出来。
之前网上有很多关于pyqt4抓取动态网页的帖子,但是pyqt5与pyqt4有细微不同,纪录下来以备后面查看。
import sys
from PyQt5.QtWidgets import *
from PyQt5.QtCore import *
from PyQt5.QtWebKitWidgets import *
#use QtWebkit to get the final webpage
class WebRender(QWebPage):
def __init__(self, url):
self.app = QApplication(sys.argv)
QWebPage.__init__(self)
self.loadFinished.connect(self.__loadFinished)
self.mainFrame().load(QUrl(url))
self.app.exec_()
def __loadFinished(self, result):
self.frame = self.mainFrame()
self.app.quit()
r = WebRender(url)
html = r.frame.toHtml()
page = etree.HTML(html.encode('utf-8'))
注意:
1、PyQt5的 QWebPage 要从 PyQt5.QtWebKitWidgets 导入,QApplication 要从 PyQt5.QtWidgets 导入
2、r.frame.toHtml() 得到的html要encode成utf-8,以支持对中文字符的支持