python爬虫解析库学习

最新推荐文章于 2025-05-03 16:49:00 发布

aiji2909

最新推荐文章于 2025-05-03 16:49:00 发布

阅读量94

点赞数

文章标签：爬虫 python javascript ViewUI

原文链接：http://www.cnblogs.com/monty12/p/9960572.html

版权

本文深入讲解了三种流行的网页解析技术：XPath、BeautifulSoup和PyQuery。详细介绍了各库的基本使用方法，包括如何初始化、查找元素、获取属性及文本等关键操作。适合初学者和有经验的开发者作为参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、xpath库使用：

　　1、基本规则：

　　　2、将文件转为HTML对象：

1 html = etree.parse('./test.html', etree.HTMLParser())
2 result = etree.tostring(html)
3 print(result.decode('utf-8'))

　　　　3、属性多值匹配：

　　　　//a[contains(@class,'li')]

　　　4、多属性匹配：

　　　　　　//a[@class="a" and @font="red"]

　　　5、按序选择：

二、beautifulsoup库学习：

　　1、基本初始化：

　　　　将HTML字符串用lxml格式来解析，并补全标签，创建html处理对象。

　　2、获取信息：

　　　　（1）获取title的name属性：

　　　　　　soup.title.name

　　　　（2）获取多属性：

　　　　（3）children返回孩子节点：

　　　　（4）find_all函数：查找所有的节点。

　　　　　　·通过节点名称来查找：

　　　　　　　　soup.find_all(name='li')

　　　　　　·通过属性名来查找：

　　　　　　　　soup.find_all(attrs={'id':'link1'})

　　　　　　　　··通过文本来查找：

　　　　　　　　soup.find_all(text='') 用来匹配网页节点中的文本内容。

　　3、css选择器：

　　　　.select() 方法。参数内容和jquery相似。

　　　　返回内容为列表，类型是tag类型。

三、pyquery库：

　　1、初始化：

　　　　·通过HTML字符串

　　　　·通过url

　　　　·通过文件名。需要指出文件名。

　　2、常用函数：

　　　　（1）find() 方法

　　　　（2）children（）查找子结点

　　　　（3）查找父节点： parent()

　　　　（4）查找祖先节点：

　　　　　　parents()

　　　　（5）兄弟节点：

　　　　　　　　siblings() 方法

　　　　（6）对查找结果进行遍历：

　　　　　　　　.items()返回每一个节点。

　　　　（7）获取节点信息：

　　　　　　　　·获取属性：

　　　　　　　　　　.attrs（‘属性名’）

转载于:https://www.cnblogs.com/monty12/p/9960572.html