Python 抓取html所有特定元素的方法

最新推荐文章于 2023-10-26 09:54:35 发布

转载最新推荐文章于 2023-10-26 09:54:35 发布 · 523 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/itxiongwei/p/9207339.html

文章标签：

#python

本文介绍如何利用Python的lxml库解析HTML文档并抓取特定的HTML元素。通过实例演示了如何获取class属性中包含特定字符串的所有div标签。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

直接上代码哦，够直接了吧~

from lxml import etree
#import mechanize
import lxml.html
#import cookielib

#br = mechanize.Browser()
#r = br.open('http://yourdomain.com')
#html = br.response().read()
#root = lxml.html.fromstring(html)
#divs = root.xpath("//div[@class='test']")
hparser = etree.HTMLParser(encoding='utf-8') #for avoiding unicode codec problems
htree = etree.parse('http://yourdomain.com',hparser)
htree.write('/tmp/bi.html') 
divs= htree.xpath("//div[@class='test']")