Python xpath进阶----使用re正则

XPath精确匹配技巧
最新推荐文章于 2025-04-26 23:19:05 发布
原创 最新推荐文章于 2025-04-26 23:19:05 发布 · 1.5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何在XPath查询中使用正则表达式进行精确匹配，避免误匹配类似ID的情况。通过实例展示，当需要从HTML中精确选取特定ID的div元素时，如何排除相似ID的干扰。

列

<div id="desktop-1"> </div>  # 需要匹配的div
<div id="desktop-btf-grid-1"> </div>
<div id="desktop-btf-grid-2"> </div>
<div id="desktop-2"> </div>  # 需要匹配的div
<div id="desktop-btf-grid-3"> </div>
<div id="desktop-3"> </div>  # 需要匹配的div
<div id="desktop-btf-grid-4"> </div>
<div id="desktop-4"> </div>  # 需要匹配的div

需要获取div中id为desktop-数字的对象
一开始可能会想到用//*[contains(@id,'desktop-')],发现结果会把esktop-btf-grid-的数据也匹配到，这里我们就需要在xpath中使用正则

response.xpath(r'//*[re:match(@id, "desktop-\d")]',namespaces={"re": "http://exslt.org/regular-expressions"}).extract()
码农小钢
关注
python进阶-02-一篇文章搞明白BeautifulSoup
Lookontime的博客
11-16 1299
开始今天的日拱一卒，上一篇文章我们介绍了Xpath，今天我们开始介绍BeautifulSoup，这个也是用来解析HTML文档的技术，但是跟Xpath 还是有区别的，XPath 是使用路径表达式来定位元素，而BeautifulSoup就是一个字简单。
python进阶-04-Python Scrapy带你掌握Python Scrapy（2.12）爬虫框架，附带实战
Lookontime的博客
11-27 953
在Python进阶系列我们来介绍Scrapy框架最新版本2.12，远超市面上的老版本，Scrapy框架在爬虫行业内鼎鼎大名，在学习之前我想请大家思考Scrapy究竟能解决什么问题？或者能爬哪一类型的网站！还有针对Scrapy的局限性我们如何依然使用好Scrapy！好，开始我们今天的日拱一卒！
通过Python爬取必应壁纸，学XPath
weixin_42577686的博客
01-05 643
前言 在上一篇文章中讲述了如何使用XPath来提取数据，那么这篇文章就紧随其后，来教各位小伙伴如何使用XPath进行实战，获取网页的信息。 所以我今天带来的内容就是获取必应壁纸。 准备工作 工欲善其事，必现利其器。玩爬虫也是同样的道理。 首先，安装好两个库：lxml与requests。 pip install lxml pip install requests 需求分析 爬取的网址：https://bing.ioliu.cn/ 抓包分析 首先打开开发者工具，随便点击一张图片进入它的高清大图，点击netwo
scrapy中的xpath中的re使用
04-12 596
第一种: 例子:这里我使用"http://www.simple-style.com/page/1"这个网站的爬虫 >>>scrapy shell http://www.simple-style.com/page/1 进入交互环境后,我想找到当前网页的所有src 1 >>> response.xpath('//@src').extr...
RE(正则)和Xpath
浪淘沙
12-27 1448
正则表达式 re匹配中文：[u4e00-u9fa5] 是一个计算机科学的概念 用于使用单个字符串来描述，匹配符合某个规则的字符串 常常用来检索，替换某些模式的文本 正则的语法 .(点号)表示任意一个字符，除了\n,比如查找所有的一个字符. []:匹配括号中列举的任意字符，比如[L,Y,0] \d:任意一个数字 \D:除了数字都可以 \s:表示空格、tab键 \S:除了空白符号 \w:单词字符...
python之正则表达式、XPath
reb0rn
04-05 1175
正则表达式（RegularExpression，re） 1、作用： -是一个计算机科学的概念 -用于使用单个字符串来描述、匹配符合某个规则的字符串 -常常用来检索，替换某些模式的文本 2、正则的写法 -.（点号）：表示任意一个字符，除了\n，比如查找所有的一个字符\ -[ ]：匹配中括号中列举的任意字符，比如：[L，Y，0]，LLY，Y），LIU -\d：任意一个数字 -\D：除...
【爬虫】在Xpath中使用正则
aqua75836的博客
03-30 1561
ns = {"re": "http://exslt.org/regular-expressions"} print(html.xpath("//*[re:match(text(), 正则表达式)]/text()", namespaces=ns)) 是有关命名空间namespace的知识，之前在文档中找到的答案，现在不知道为什么打不开官网，无法指出具体出处。 转载于:https:/...
Python进阶--爬取下载人生格言(基于格言网的Python3爬虫)
在猴站学算法
02-06 1268
爬取人生格言，详细解释每一个步骤，代码中有详细注解。对爬虫感兴趣的小伙伴们，可以来学习！！！这是一个非常不错的爬虫实例！！！
【Python爬虫进阶】使用正则表达式高效提取HTML网页内容
最新发布
2201_76125261的博客
04-26 580
在网络爬虫开发中，提取网页数据是最重要的环节之一。虽然现在流行使用XPath、BeautifulSoup、lxml等库解析HTML，但**正则表达式（Regex）**依然是很多轻量、灵活抓取任务中的首选工具。特别是在处理结构简单、变化大的网页时，正则提取拥有无与伦比的灵活性和速度优势。本篇将从基础到实战，全面讲解如何使用正则表达式高效解析HTML内容，并配合最新Python3标准库，以及结合真实案例，教你掌握“用Regex高效提取HTML”的全部技巧。正则表达式的优势：特别适合：常见正则语法：例子： 3.
python爬虫知识----爬虫进阶----threading、lock、condition、queue、selenium+chromedriver、tesseract（四）
斗师——Ace
01-07 736
添加小程序，兑换各种视频教程/数据资源。 1. 多线程：同步完成多项任务，多线程就像火车的每节车厢，进程则是火车。如同时下载多张图片的多线程爬虫应用。 2. 多线程之--------threading模块。 2.1 threading模块实现函数，类的多线程执行。 #encoding:utf-8 #time 和threading是Python内置模块，无需单独下载 i...
python爬虫xpath提取数据_爬虫篇 | Python使用正则来爬取豆瓣图书数据
weixin_39526564的博客
12-07 302
最近整理一个爬虫系列方面的文章，不管大家的基础如何，我从头开始整一个爬虫系列方面的文章，让大家循序渐进的学习爬虫，小白也没有学习障碍.爬虫篇 | 不会这几个库，都不敢说我会Python爬虫爬虫篇 | Python现学现用xpath爬取豆瓣音乐爬虫篇 |Python最重要与重用的库Request爬虫篇 | Python爬虫学前普及基础篇 | Python基础部分这两天有读者要我出一篇使用...
python xpath html正则,python爬虫xpath，BeautifulSoup和正则用法全
weixin_33308507的博客
06-01 243
from lxml import etreefrom bs4 import BeautifulSoupimport rehtml = """xpath test时间地点任务这里是个小标题12384104223这里是H3的内容百度一下test1test212345678910"""def title():#第一种，xpath提取html_etree = etree.HTML(html)# print...
python爬虫--xpath结合re同时爬取文字与图片
jerechen的博客
02-16 3471
还是老家的旅游网址：http://www.patour.cn/site/pananzxw/tcgl/index.html，将这些特产的图片及其介绍都爬取下来！ 源码： 1 # -*- coding:utf-8 -*- 2 import urllib2 3 import re 4 from lxml import etree 5 6 class Spider: 7 ...
用python写网络爬虫-使用xpath代替正则表达式
笔记本
08-09 1309
学习使用xpath代替正则表达式，首先得了解xpath语法
python爬虫提取信息:正则表达式和xpath
qq_22905955的博客
06-20 3753
由于作者水平有限，只写出相关关键词，并未给出详细解释。 爬虫主要是两个功能，一是访问网页，二是从网页中提取数据。事实上访问网页基本都是调用接口直接就可以访问，而从网页中正确地提取数据是主要工作量所在。 这里给出两种提取数据的选择和用到的相关库。 1.python正则表达式:正则表达式语法规则参考 http://www.cnblogs.com/fnng/archive/
python中的re模块（正则表达式）和Xpath使用
热门推荐
NumOneDD的博客
08-26 1万+
<?xml version="1.0" encoding="UTF-8"?> <bookstore> <book> <title lang="eng">Harry Potter</title> <price>29.99</price> </book> <book> <title lang="eng">Learning XML</title> &...
Python利用xpath和正则re爬取新浪新闻
拼命小李博客
12-01 1870
今天我们来进行简单的网络爬虫讲解:利用用from lxml import html库+Xpath以及requests库进行爬虫 1.我们将爬取新浪微博首页要闻 我们摁F12查看网页源代码查找要闻内容所对应的HTML的代码 通过观察我们可以发现每个标题都在****下的 a标签中,其实这个就是我们标题 2.再利用requests的库先打印出我们的网页源代码 from lxml import html ...
python： Xpath 和正则 re 简介
qq_40421176的博客
06-25 596
格式化文件 XML，JSON 一、Xpath 在XML文件中查找信息的一套规则，根据XML的元素或者属性进遍历 http://www.w3school.com.cn/xpath/index.asp 1、Xpath开发工具 开源的Xpath表达式编辑工具:XMLQuire Chrome插件：Xpath Helper Firefox插件：Xpath Checker 2、xml选取节点 no...
Xpath和re常用语法
weixin_44388373的博客
07-28 601
【代码】Xpath和re常用语法。
Python爬虫进阶实战：从入门到分布式爬取
比如使用requests库发送请求，用BeautifulSoup或lxml进行DOM解析，利用re模块处理正则表达式匹配，最终通过pandas或sqlite3完成数据持久化。对于新手任务如“爬取图片”和“设置User-Agent”，这些都是入门阶段必须...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值