BeautifulSoup中的一些问题

最新推荐文章于 2020-07-07 11:08:56 发布

yuxiaoyu.

最新推荐文章于 2020-07-07 11:08:56 发布

阅读量201

点赞数

CC 4.0 BY-SA版权

文章标签： python

原文链接：http://www.cnblogs.com/ZackBee/p/6659849.html

本文介绍使用wkpdftohtml将网页转换为PDF时遇到的问题及解决方法。当使用BeautifulSoup的XML解析器处理页面内容后转换为PDF时会出现警告，并且无法成功生成PDF。更换解析器为lxml或html.parser可以避免该问题并正常生成PDF。

　　使用wkpdftohtml将爬取到的网页生成PDF时，使用示例代码

import requests
from bs4 import BeautifulSoup
import pdfkit
url = 'http://www.liaoxuefeng.com/wiki/' \
      '001434446689867b27157e896e74d51a89c25cc8b43bdb3000'
response = requests.get(url)
bsObj = BeautifulSoup(response.content, 'xml')
body = bsObj.findAll(class_='x-wiki-content')
html = str(body)
html = html.encode('utf-8')
fp = open('test.html', 'wb')
fp.write(html)
fp.close()
fp = open('test.pdf', 'wb')
fp.close()
pdfkit.from_file('test.html', 'test.pdf')

　　出现警告

Warning: A finished ResourceObject received a loading progress signal. This might be an indication of an iframe taking too long to load

　　并且没有得到预想中的PDF文件。（代码块访问的是廖雪峰的js教程网站）

将beautifulsoup中的解析器换成"lxml"或“html.parser则能够生成预期的PDF文件

　　阅读BeautifulSoup的文档

　　根据beautifulsoup的文档，不同的解析器之前对文本的解析是存在区别的参见beautifulsoup文档

使用xml解析器致使生成的dom树与理想的不同(不是bug，是不同解析器的处理机制)，以至于停止生成pdf。

转载于:https://www.cnblogs.com/ZackBee/p/6659849.html