爬虫之xpath表达式

最新推荐文章于 2025-05-14 09:32:57 发布
最新推荐文章于 2025-05-14 09:32:57 发布
阅读量2.1k 收藏 16
点赞数 1
CC 4.0 BY-SA版权
分类专栏： python爬虫 文章标签： python xpath lxml 爬虫 表达式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yunlongl/article/details/81192059

说明

总结自己在爬虫过程中遇到的xpath表达式用法

在爬虫解析网页的时候，有多种方式可以可以提取网页元素。比如最基本的正则表达式、xpath、bs4、以及在scrapy中的css选择器。对于这些工具在爬虫的时候都遇到过，但是唯独喜欢用xpath，感觉提取很简介。同时也会掺杂一些正则表达式来做一些小的提取。

在记录xpath用法时，这里没有实际网页操作，仅当记住这种语法就是了。

操作语法

1、从根节点取元素，一般为<html>

/

2、选择所有的节点

//

这个表示选择所有的节点，例如 //div 表示选择网页中所有的div标签的内容。

3、添加元素的属性

@

例如：选取所有div下属性为class=nav的a标签下的href属性的值。

//div[@class="nav"]/a/@href

4、获取标签下的文本数据。

text()

例如：选取class="nav"的div下的ul下的li中所有的文本数据。

//div[@class="nav"]/ul/li/text()

5、选取某个大的标签下的所有文本数据，例如有个p标签，下面有span以及a标签，两个里面都有我们需要提取的文本，同时有可能在下一个p标签里面还有strong、h3等标签，此时我们需要使用string(.)

xpath('//div[@class="content"]//p').xpath("string(.)").extract()

高级语法

1、starts-with()

它是用来表示，某个属性以什么开头。

例如：我们在ul下有100个li标签，但是他们的id等于node1到node100，此时我们只需要这样写就可以提取。

xpath('//ul/li[starts-with(@id,"node")]/text()').extract()

2、contains()

它是用来指定某些元素包含了什么样的值，可以是属性，可以是文本。

例如：有个div标签下有class属性，它的值包含了，fh24 wh120 lx10等，此时你就可以下如下表达式来提取。

xpath('//div[contains(@class,"fh24")]/text()').extract()

同时你也可以用文本来作为提取标准，比如说，你想要提取下一页的链接。

xpath('//a[contains(text(),"下一页")]/@href').extract()

3、position()

这个是用来指定某个标签的位置。

例如：在ul标签下，有100li个标签，你想要提取第50个。

xpath('//ul/li[position()=50]/text()').extract()

4、last()

这个方法是用来指定，最后一个元素。

例如在class=nxt的div下面有5个a标签，我们需要最后一个，并且在下一页个数还会发生变化。此时就可以用last()。

xpath('//div[@class="nxt"]/a[last()]/@href').extract()

5、not()

这个方式是用来说明，某个标签不包含什么。

例如：在class=list的div元素中，其下面有20个a标签，其中这些a标签分为两类，一类有class="text"属性，一类没有。然而你想要提取没有属性的那一批。此时你可以这样写。

xpath('//div[@class="list"]/a[not(@class,"text")]/text()').extract()

xpath运算

同样的在xpath中，xpath也支持各种运算符。

最常见的以及最常用的主要包含

- 减

or 或者

and 和

> 大于

< 小于

= 等于

1、减法运算

比如我们需要获取倒数第二个标签。在class="list"的div下有20个a标签，你需要获取倒数第二个a标签的href

xpath('//div[@class="list"]/a[last()-1]/@href')

2、or运算，或运算

例如：在class="list"的div标签里面有100个a标签，其中有的a标签class="fh24"，有的a标签class="wh20"，有的a标签class="lx10",此时你只需要class="wh20"和class="lx10"的a标签，此时你可以这样做。

xpath('//div[@class="list"]/a[@class="wh20" or @class="lx10"]/text()').extract()

3、and运算，且运算，道理同上栗子就不举了。

4、>、<、=运算

例如：在id=title的div下的ul有100个li，你想要获取第23到98的li。你可以这样写。

xpath('//div[@id="title"]/ul/li[position()>=23 or position()<=98]/text()').extract()

 

XPath 表达式的结构与解析
小蓝枣的博客
07-12 476
XPath 是一种强大而灵活的查询语言，用于在 XML 和 HTML 文档中定位和提取元素。 XPath 表达式的结构对于理解和使用 XPath 至关重要。本篇博客将深入探讨 XPath 表达式的结构，帮助读者更好地理解和应用 XPath 定位和提取元素的能力。我们将详细解释 XPath 表达式的各个组成部分，并通过实例演示来加深理解。
手把手教你使用python爬虫之xpath
景天科技苑
12-29 9968
xpath表达式如何理解？html中的标签是遵从树状结构的。切记:xpath表达式中最好不要出现tbody标签，因为tbody标签可能是浏览器加的，可以通过查看网页源代码判断是否是真实的tbody！tbody可能是源代码自带的，也有可能是浏览器添加的可以通过右键，查看页面源代码，确定tbody是不是浏览器添加的，如果源代码中有tbody，那就时源代码中包含的如果没有那就是浏览器添加的使用方法。
使用xpath爬取网页文章url标题
star_xing123的博客
10-24 6393
本文使用python3 # -*- coding:utf-8 -*- import requests # 由于XPath属于lxml库模块，所以首先要安装库lxml pip install lxml from lxml import etree import csv url = "https://news.sina.com.cn/china/"# 爬取页面url地址 # 根据url获取页面...
python+selenium 巧定位xpath会变动的元素--last()函数定位最后一个节点数
sun_977759的博客
09-18 1万+
web自动化学习--xpath之last()函数的使用 遇到的问题： 定位某一个元素，直接复制其xpath，实际上脚本跑起来后发现一直没定位到该元素 xpath为：/html/body/div[6]/div[1]/div[1]/ul/li 后来发现，如果操作的步骤不一样，比如先点这和点了那，导致该元素的xpath不一致 由于不同的操作，xpath可能为： /html/body/div...
xPath语法
最新发布
2301_78108987的博客
05-14 308
``：合并结果集（如`//title //price`选所有title和price节点）=`, `<`, `>`等（如`//bookprice>20`）- `.` 和 `..`：分别表示当前节点和父节点（类似文件系统的`.`和`..`）- `/`：从根节点开始绝对路径（如`/html/body/div`）- `//`：全局搜索不考虑位置（如`//div`选所有div节点）- `@*`：匹配任意属性（如`//div@*`选所有带属性的div）- 按位置：`//ul/li1`（选第一个li）
lxml.etree,HTML使用xpath地址找不到元素
南巷清风
06-03 2800
使用etree.HTML(response.text)里面的xpath地址找不到，切换成etree.HTML(response.content)里面的xpath地址就找到了 response.text的内容是str类型 response.content的内容bytes类型 具体为什么不是很清楚，如果有知道为什么的可以评论一下。 检查过程： html =etree.HTML(response.text) print(etree.tostring(html)) 发现最后打印的数据和之前打印..
XPath语法
dcbaabcd111的专栏
06-28 716
下面列出了最有用的路径表达式： 表达式 描述 nodename 选取此节点的所有子节点。 / 从根节点选取。 // 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。 . 选取当前节点。 .. 选取当前节点的父节点。 @ 选取属性。 谓语（Predicates） 谓语用来查找某个特定的节
Xpath 的语法小结
`or 1 or 不正经の泡泡
07-19 634
Xpath 用于提取网页上的信息，方便高效快捷。（当然学会正则走天下） 本篇博客将总结xpath使用语法。 Xpath 浏览器工具(chrome) 1 使用插件工具xpath helper 2下载安装插件。 由于某些原因我们无法从谷歌浏览器中直接下载所以这里可以从我的云盘上下载 链接：https://pan.baidu.com/s/1xkj3OxnxrVI-lvuAyVbZnQ 提取码：bwfn 3安装插件； 0.1 先解压 0.2 将crx文件拖入谷歌浏览器拓展程序中 Xpath 特点 首先 xpat
网络爬虫 xpath表达式
qq_62478101的博客
04-12 526
在编写爬虫程序的过程中提取信息是非常重要的环节，但是有时使用正则表达式无法匹配到想要的信息，或者书写起来非常麻烦，此时就需要用另外一种数据解析方法，也就是本节要介绍的 Xpath 表达式。 Xpath表达式 XPath（全称：XML Path Language）即 XML 路径语言，它是一门在 XML 文档中查找信息的语言，最初被用来搜寻 XML 文档，同时它也适用于搜索 HTML 文档。因此，在爬虫过程中可以使用 XPath 来提取相应的数据。 提示：XML 是一种遵守 W3C 标椎的标记语言，类似于
【Python爬虫】：Xpath表达式的使用
LLand520的博客
01-29 703
假设我爬取了这样的一个html网页，前面的前端代码如下所示： OK资源采集-最新影视资源大全 复制代码 我们想要获取其中的script标签后面的内容，因此我们可以使用Xpath来获取，假设我们想要获得第一个script标签处的值value，就可以使用表达式： Xpath（/html/head/script/text()）[0] 这个表达式的含义是输出在html下的head下的第一个script标签处的文字，因为我们前面的代码： Xpath（/html
python爬虫之xpath入门
hjc_042043的博客
03-19 4413
XPATH（XML Path Language）,它可以在 XML 和 HTML文档中对元素和属性进行查找和遍历。XPath 使用路径表达式来选取 XML 文档中的节点或节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常类似。使用chrome 插件选择标签时候，选中时，选中的标签会添加属性class=“xh-highlight”
WEB自动化_xpath中选择第几个子元素的方式（下标、索引 last()、postion()）
lkr
06-27 5878
WEB自动化_xpath中选择第几个子元素的方式（下标、索引 last()、postion()） 1、通过下标方式获取（下标从1开始） 2、通过倒数索引获取
xpath 简单使用
Engure
08-24 663
参考链接
Xpath
sheep55的博客
12-03 741
Xpath定位方法
python css和xpath_python爬虫：scrapy框架xpath和css选择器语法
weixin_39862899的博客
12-10 494
Xpath基本语法一、常用的路径表达式：表达式描述实例nodename选取nodename节点的所有子节点//div/从根节点选取/div//选取所有的节点，不考虑他们的位置//div.选取当前节点./div..选取当前节点的父节点..@选取属性//@calss举例元素标签为artical标签语法说明artical选取所有artical元素的子节点/artical选取根元素artical./art...
Xpath语法
小龙在线
05-31 3147
1、XPATH使用方法 使用XPATH有如下几种方法定位元素（相比CSS选择器，方法稍微多一点）： a、通过绝对路径定位元素（不推荐！） WebElement ele = driver.findElement(By.xpath(&amp;amp;amp;amp;amp;amp;quot;html/body/div/form/input&amp;amp;amp;amp;amp;amp;quot;)); b、通过相对路径定位元素 WebElement ele = driver.findEleme
Python爬虫之xpath语法及案例使用
钢铁知识库
08-15 2074
从xpath是什么，到语法规则介绍，再到三个实战案例。肝了三天三夜，一文扫盲Python常用的xpath解析。
xpath
weixin_43212495的博客
11-11 267
xpath xml，是一种数据格式，和json的位置一样，前后端交互，传输数据使用的格式 xml和html的不同： （1）xml是用来传输和存储数据的，html是用来显示数据的 （2）xml标签可以自定义，html是官方规定好的标签 （3）xml都是纯文本，而html是超文本 xml语法： （1）必须有关闭标签 （2）标签名对大小写...
史上最全的xpath定位方法 全在这了!
热门推荐
weixin_43865008的博客
03-30 8万+
Xpath常用的定位方法 相信做过selenium UI自动化的朋友都知道，工作中大部分的元素定位都是使用xpath进行定位，所以xpath是UI自动化工作中非常重要的一个环节，所以我单独整理出来一篇博客出来~~希望对大家有帮助~ last()方法 当标签存在多个相同的时候，可以使用xpath中的last()方法，定位到最后一个 //标签名[last()] //span/ul//li[last()] 如果我们要定位到倒数第二个，可以在last() 后面加上 -1，代表倒数第二个 //标签名[last(
java爬虫的xpath和python的xpath表达式一样嘛
04-26
<think>好的，我现在要比较Java和Python中XPath表达式的使用方式，特别是语法差异。首先，我需要回忆一下两种语言在解析XML/HTML时常用的库，以及它们如何实现XPath。 对于Python来说，常见的库是lxml，它基于libxml2，支持XPath 1.0。用户可能在Python中使用etree模块的xpath方法，如html.xpath('//div[@class="example"]')。另外，可能还有像XPath表达式中的函数使用，比如text()或者@属性。 Java方面，常用的库可能是JAXP（Java API for XML Processing），包括XPathFactory和XPathExpression。比如，使用DocumentBuilder解析文档，然后通过XPath的evaluate方法执行表达式。Java的XPath实现通常也遵循XPath 1.0，但可能有不同的API设计。 接下来，我需要考虑语法差异。比如，在Python的lxml中，可能可以直接在XPath中使用某些扩展函数，或者处理命名空间的方式不同。而Java可能需要显式地处理命名空间，通过NamespaceContext来映射前缀和URI。 另外，表达式中的轴（axes）和节点测试是否有差异？例如，在Python中是否支持某些简写，或者Java是否要求更严格的语法。例如，在Python中可以直接用//div[@class]，而Java是否需要更明确的轴步骤？ 还有，结果返回的处理。Python的lxml返回的可能是元素列表，直接获取属性或文本，而Java可能需要通过NodeList遍历，再提取内容。例如，在Python中html.xpath('//a/text()')会得到文本列表，而Java可能需要调用evaluate表达式并转换为节点，再获取节点值。 另外，错误处理可能有差异。比如，Python中如果表达式写错，可能会抛出异常，而Java的XPath可能返回空节点或异常，需要不同的处理方式。 需要确认两种语言在XPath表达式语法本身是否一致。比如，是否都支持相同的运算符、函数，或者是否有特定实现的不同。例如，contains()函数的使用是否有差异，或者字符串处理的函数是否支持相同参数。 然后，参考用户提供的引用，其中提到了Python中使用lxml的案例，如html.xpath('//a/img/@src')，这在Java中如何实现？可能需要使用类似的表达式，但API调用方式不同。 还要注意，Java中XPath的评估可能需要编译表达式，比如XPathExpression对象，而Python的lxml可能直接执行字符串表达式。性能方面是否有差异？ 最后，总结主要差异点：API设计、命名空间处理、结果处理方式、扩展函数支持、错误处理等。需要具体举例说明，比如同样的XPath表达式在两种语言中的写法是否相同，调用方式的不同，以及处理结果的方式。</think>### Java与Python中XPath表达式使用方式对比 #### 一、语法核心差异 1. **表达式语法一致性** Java和Python的XPath语法在核心部分完全兼容，均遵循XPath 1.0标准[^1]。例如，选择`class="title"`的`<span>`元素均可用： ```xpath //span[@class='title'] ``` 但在扩展函数支持上，Python的`lxml`可能支持部分非标准语法（如`starts-with`的简化写法），而Java更严格遵循标准。 2. **命名空间处理** - **Python**：通过`nsmap`参数显式声明命名空间： ```python namespaces = {'ns': 'http://example.com'} html.xpath('//ns:div', namespaces=namespaces) ``` - **Java**：需使用`NamespaceContext`绑定前缀与URI： ```java XPathFactory xpathFactory = XPathFactory.newInstance(); XPath xpath = xpathFactory.newXPath(); xpath.setNamespaceContext(new NamespaceContext() { public String getNamespaceURI(String prefix) { return "http://example.com"; } }); NodeList nodes = (NodeList) xpath.evaluate("//ns:div", document, XPathConstants.NODESET); ``` #### 二、API使用方式对比 1. **Python（lxml库）** - **直接执行表达式**：通过`etree`对象的`xpath()`方法直接返回结果列表： ```python titles = html.xpath('//span[@class="title"]/text()') # 提取文本 image_urls = html.xpath('//a/img/@src') # 提取属性[^2] ``` - **结果类型**：自动转换为字符串列表或元素列表。 2. **Java（JAXP API）** - **编译与执行分离**：需先编译XPath表达式： ```java XPathExpression expr = xpath.compile("//span[@class='title']"); NodeList nodes = (NodeList) expr.evaluate(document, XPathConstants.NODESET); ``` - **手动提取内容**：遍历`NodeList`并提取属性或文本： ```java for (int i=0; i<nodes.getLength(); i++) { Element span = (Element) nodes.item(i); String title = span.getTextContent(); } ``` #### 三、扩展功能差异 1. **Python的灵活性** - 支持XPath表达式内联函数，如`contains()`： ```xpath //div[contains(@class, "result")] ``` - 支持直接提取多个属性或层级数据（如`/text()`或`/@src`）[^3]。 2. **Java的限制** - 需依赖第三方库（如Saxon-HE）才能支持XPath 2.0+的高级功能。 - 默认仅支持XPath 1.0，复杂操作需结合DOM API手动处理。 #### 四、典型代码示例对比 | 功能 | Python (lxml) | Java (JAXP) | |--------------------|----------------------------------------|----------------------------------------| | 提取元素文本 | `html.xpath('//span/text()')` | `evaluate("//span", document, NODESET)` + 遍历提取`getTextContent()` | | 提取属性值 | `html.xpath('//img/@src')` | `evaluate("//img/@src", document, STRING)` | | 条件过滤 | `//div[@class="main"][position()=1]` | 语法相同，但结果需手动处理索引 | #### 五、性能与适用场景 - **Python**：适合快速开发，表达式简洁，适合HTML解析（如结合`requests`爬虫）[^2]。 - **Java**：适合企业级应用，需高稳定性，但代码量较大。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值