Python爬虫入门之Xpath

YOLO数据集工作室

已于 2023-09-29 18:39:26 修改

阅读量358

点赞数

CC 4.0 BY-SA版权

文章标签： python 爬虫 chrome

于 2023-05-15 09:25:54 首次发布

本文链接：https://blog.youkuaiyun.com/m0_64879847/article/details/130677515

133 篇文章 ¥299.90 ¥399.90

订阅专栏

本文介绍了使用Python的lxml库配合Xpath进行HTML解析的方法，讲解了Xpath的基本语法，包括节点选择、文本获取以及属性操作。重点讨论了在爬虫中如何从URL响应中正确提取Xpath数据，并提供了Chrome和Firefox的Xpath辅助工具。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

lxml是一款高性能的Python HTML/XML解析器，我们可以利用Xpath来快速定位特定元素以及获取节点信息。XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。
工具：
1.Chrome插件 Xpath Helper
2.开源的Xpath表达式编辑工具：XML Quire（xml格式文件可用）
3.Firefox插件 Xpath Checker
节点选择语法
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210604191327579.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1YW4yMDE5MDM1MDU1,size_16,color_FFFFFF,t_70#pic_center
Xpath学习重点
- 使用Xpath helper或者是Chrome中的copy Xpath都是从element中提取的数据，但是爬虫获取的是url对应的响应，往往和element不一样
- 获取文本
  - a/text() 获取a下的文本
  - a//text() 获取a下的所有标签的文本
  - //a[text()=‘下一页 >’] 选