爬虫:使用xpath排除不想要的标签

最新推荐文章于 2024-09-03 14:06:13 发布
最新推荐文章于 2024-09-03 14:06:13 发布
阅读量3.6k 收藏 3
点赞数 2
CC 4.0 BY-SA版权
文章标签： scrapy scrapy-redis python 爬虫 xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Benzmjs/article/details/102646128
本文分享了使用XPath进行精确数据筛选的经验，特别是在Scrapy爬虫中排除特定标签的方法，通过示例展示如何仅提取所需的数据行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

但愿天下所有的程序员需求 都会写，入坑秒跳出，程序无bug

昨天用scrapy爬取了一个关于邮政编码的网站，这时候遇到了一个问题，用xpath排除不想要的标签

话不多说先上图
在这里插入图片描述

在网上查了很多资料，好像大部分都是说，让我们全部提取出来之后，然后再 切片，或其他把不想要的剔除，但是我就想一次性把自己想要的提取到而不做额外的处理，最后，终于找到 如果只想要2-10的tr不要1和11的tr，xpath应该这么 写

tr[position()>1][position()<11]

顺利解决问题，但愿这篇文章对哪怕一个人有帮助，那 这篇文章就有存在的意义~~ 如果有什么建议 可以评论在下方哦~

Benzmjs
关注
怎样用xpath去除某个不想要的元素，从而选择满意的内容
weixin_41534322的博客
03-20 5289
html=''''<div class="shici_list_main"> <h3><a href="/chaxun/list/3075417.html" target="_blank">《长干行二首》</a></h3> <div class="shici_conte...
Python爬虫||Xpath-以豆瓣电视剧为例
weixin_45072139的博客
07-04 1203
XPath——全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言。它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。所以在爬虫里就可以直接使用Xpath来进行数据获取，而且方法相较于正则表达式和bs4等要简单很多。 工程中常用Python的lxml库，利用XPath进行HTML的解析。 安装库 pip3 install lxml 导入 from lxml import etree Xpath的常用规则 表达式 描述 nodena
【爬虫】在使用xpath时，排除指定标签
aqua75836的博客
03-30 2737
xpath排除某个节点 主要时应用name()这个函数获取便签名 res = html.xpath("//*[name(.)!='style']") 转载于:https://www.cnblogs.com/XD00/p/10626320.html
xpath 过滤排除某个标签
haijun04222的博客
07-18 5788
提取某个网页的所有图片，所有图片的父标签是不确定的，而需求是要排除<a>标签下的图片 <div style='background-color:#993300; text-align: center;'> <div style='text-align: center;clear: both; pad...
xpath表达式，提取标签下的全部内容（将其他标签过滤）
weixin_34326429的博客
11-14 1174
例如要提取span下的内容 //div[@class="content"]/span 正确的其中一种写法如下data = response.xpath('//div[@class="content"]/span[descendant-or-self::text()]')it['content'] = data.xpath('string(.)').extract()【转】xpath基本语法ht...
xpath 过滤指定标签
zf3419的博客
01-09 6314
//div/*[not(name='h3')]/text()
爬虫：Ajax数据爬取
二十四桥明月夜
01-03 9556
目录 1、什么是Ajax 1.1 实例的引入 1.2 基本原理 2、Ajax分析方法 1、查看请求 2、过滤请求 3、Ajax结果提取 1、分析请求 2、分析响应 3、例子 我们在用 requests 抓取页面的时候，得到的结果可能和在浏览器中看到的不一样：在浏览器中可以看到正常显示的页面数据，但是使用 requests 得到的结果并没有， 这是因为 requests 获取的 都是原始的 HTML 文档，而浏览器中的页面则是经过 JavaScript 处理数据后生成的结果，这些数据的.
一周爬虫集训任务二：学习beautifulsoup+xpath
qq_30006749的博客
04-09 906
一周爬虫集训任务二：学习beautifulsoup+xpath1 任务2 beautifulsoup2.1 简介2.2 安装参考 1 任务 Task2（2天） 2.1 学习beautifulsoup 1. 学习beautifulsoup，并使用beautifulsoup提取内容。 2. 使用beautifulsoup提取丁香园论坛的回复内容。 3. 丁香园直通点：http://www.dxy.cn...
python爬虫从0到1(第六天)——xpath数据解析案例
weixin_43770993的博客
03-16 323
需求：某侠网对于最新上市大作的名称，注：名称在第二级页面就已经有了的，但是为了大家练习代码与xpath，所以我们解析到第三级详情页面。主页如上图所示，接下来对我们的需求进一步进行解析，从需求中我们可以知道我们采集的目标是最新上市的大作，所以从主页来看的话种类比较繁杂，就连人工直接判断“大作”都会非常困难，所以不难想象如果要让代码实现从主页去采集“大作”数据的话更加的难以实现。因此，在本需求中我们访问到站点主页之后要做的第一步就是分析并找出“大作”所在。
Python网络爬虫实战:爬取中国散文网青年散文专栏文章
nmdbbzcl的博客
09-03 3283
一、引言一、引言在当今数字时代,网络爬虫技术已成为获取和分析大规模在线数据的重要工具。本文将介绍一个实际的爬虫项目:爬取中国散文网青年散文专栏的所有文章。选择中国散文网作为爬取对象,是因为它是国内知名的散文平台,尤其是其青年散文专栏汇集了大量新生代作家的优秀作品,具有重要的文学价值和研究意义。本项目的主要目标是获取青年散文专栏中的所有文章,并将其保存为txt格式的文本文件,便于后续的文本分析和研究。
python爬虫之xpath格式转换与去除多余标签、解决部分重定向问题的方法
小木的博客
07-11 1万+
写在前面的话： 实习了半个多月，总结一下学到的内容，还有在做项目中遇到的问题及其解决方式。 一. xpath的一些用法 1. 转换格式 将解析过的 xpath 转换成 HTML 字符串 为什么会用到这个，是因为之前在爬取一些js包含的内容时用到了js2xml 二. 数据库的连接 1. 连接 为了项目的维护，所以形成了加入大量异常捕捉以及打日志的习惯，便于排错。 import pymysql pymysql.install_as_MySQLdb() from Log import Log log = Lo
【那些反爬和反反爬】xpath根据兄弟节点定位元素、根据祖先节点排除标签、数据存储
weixin_44624036的博客
11-10 1233
正常对于一个百科类网站而言，一拿到这个需求，第一反应肯定是先弄一个游戏角色名的list，然后挨个进行search，抓取返回的页面内容。然而当我想进一步索要游戏角色名的list时，得到的回复是：没有现成的游戏角色名，把萌娘上有的游戏角色爬了就行。即便在度娘的帮助下，我能找到的游戏角色也就那么几个，再去除一些萌娘没有收录的词条，就所剩无几了。观察页面源代码发现，表格的第一列（即带有xx角色字样的标题列）跟其右边的内容是一一对应的，同在一个tr标签下，也就是说，他们是兄弟节点。这分类都是啥啊，太乱了吧。
xpath过滤标签内的其他标签获得全部内容
gaoyang8320的博客
06-18 1万+
最近在爬一个网站https://www.malwaredomainlist.com/mdl.php主要是把表格中的数据爬下来 在浏览器中审查元素可知，所需要的数据在一个table标签中，如下图所示： 可通过xpath提取出table中的tr标签，如下： selector = Selector(response) products = selector.xpath('//table[@cl...
Xpath -- 删除标签
MarkAdc的博客
04-27 4011
删除网页源代码的某些标签
xpath获取不包含某一子标签的a标签
大潘的博客
01-25 2811
获取子标签没有 img 标签的a标签 xpath('//li//a[not(img)]')
python爬虫去除html中特定标签、去除注释、替换实体
热门推荐
菠萝盖饭的博客
04-25 2万+
html数据清洗之去除特定标签 前言：本文主要讲w3lib库的四个函数 html.remove_tags() html.remove_tags_with_content() html.remove_comments() html.remove_entities() 文章目录html数据清洗之去除特定标签remove_tagsremove_tags_with_contentremove_comm...
xpath语法
weixin_42558201的博客
10-30 356
Xpath判断某个属性是否包含或不包含指定的属性或值 # 选择不包含class属性的节点 ".//span[not(@class)]" # 选择不包含class和id属性的节点 ".//span[not(@class) and not(@id)]" # 选择不包含class="expire"的span ".//span[not(contains(@class,'expire'))]" # 选择包含class="expire"的span ".//span[contains(@class,'expire').
scrapy框架中的Xpath语法以及去掉所有标签的方法
之度的博客
03-29 4107
参考网站https://www.w3school.com.cn/xpath/xpath_syntax.asp 表达式 描述 nodename 选取此节点的所有子节点。 / 从根节点选取。 // 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。 . 选取当前节点。 .. 选取当前节点的父节点。 @ 选取属性。 实例 ...
python-知识点总结（二）
qq_17200461的博客
02-19 434
函数 1、在.py文件中以def 开头定义，不在类中定义的是函数；类中定义的是方法 2、函数封装独立的功能，可直接调用 3、函数有内置函数、匿名函数等 4、函数可以利用元组返回多个值。如果函数返回的类型是元组，可省略小括号 5、当函数返回多个值时，可以使用元组下标方式获取值，也可以定义多个变量来接受函数返回值 def demo(): a =1 b=2 return a,b gl_a,gl_b...
XPath 动态获取
最新发布
02-18
另外，用户可能想知道如何验证XPath的有效性，比如在浏览器控制台中测试，或者使用工具如XPath Helper。这部分在之前的回答中提到了浏览器控制台的使用，可以再次强调。 最后，总结动态获取XPath的最佳实践，比如...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值