lxml.etree解析HTML文档

最新推荐文章于 2025-05-16 17:04:48 发布

原创最新推荐文章于 2025-05-16 17:04:48 发布 · 2.5k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫学习

博客介绍了lxml解析文档和读取html文件的相关内容。lxml可通过etree.HTML()构造XPath解析对象并自动修正HTML文本，调用tostring()方法得到的结果为bytes类型，需用decode()转成str类型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

lxml直接解析文档

etree.HTML():构造了一个XPath解析对象并对HTML文本进行自动修正。

from lxml import etree
text="""
				<p>
                    <span class="salary">10k-20k </span>
                    <span>/北京 /</span>
                    <span>经验1-3年 /</span>
                    <span>本科及以上 /</span>
                    <span>全职</span>
                </p>
"""
def htmlstr():
    pyelement=etree.HTML(text)
    #返回一个字符串。
    html=etree.tostring(pyelement,encoding="utf-8").decode('utf-8')

调用tostring()方法得到HTML代码结果是bytes类型，再使用decode()方法将其转成str类型

读取html文件

def parse_html(url):
    parser=etree.HTMLParser(encoding="utf-8")
    pyelement=etree.parse(url,parser=parser)
   	html=etree.tostring(pyelement, encoding="utf-8").decode("utf-8")