爬虫:使用xpath排除不想要的标签

最新推荐文章于 2024-09-03 14:06:13 发布
原创 最新推荐文章于 2024-09-03 14:06:13 发布 · 3.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scrapy #scrapy-redis #python #爬虫 #xpath

本文分享了使用XPath进行精确数据筛选的经验，特别是在Scrapy爬虫中排除特定标签的方法，通过示例展示如何仅提取所需的数据行。

但愿天下所有的程序员需求 都会写，入坑秒跳出，程序无bug

昨天用scrapy爬取了一个关于邮政编码的网站，这时候遇到了一个问题，用xpath排除不想要的标签

话不多说先上图
在这里插入图片描述

在网上查了很多资料，好像大部分都是说，让我们全部提取出来之后，然后再 切片，或其他把不想要的剔除，但是我就想一次性把自己想要的提取到而不做额外的处理，最后，终于找到 如果只想要2-10的tr不要1和11的tr，xpath应该这么 写

tr[position()>1][position()<11]

顺利解决问题，但愿这篇文章对哪怕一个人有帮助，那 这篇文章就有存在的意义~~ 如果有什么建议 可以评论在下方哦~

Benzmjs
关注
python多线程爬虫学习--去除html的标签
一步一脚印
08-16 4589
import reimport urllib page = urllib.urlopen("http://www.baidu.com") html = page.read() pattern = re.compile(r']+>', re.S) result = pattern.sub('', html) print result re.compile返回的是一个正则的表达的
Python爬虫||Xpath-以豆瓣电视剧为例
weixin_45072139的博客
07-04 1228
XPath——全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言。它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。所以在爬虫里就可以直接使用Xpath来进行数据获取，而且方法相较于正则表达式和bs4等要简单很多。 工程中常用Python的lxml库，利用XPath进行HTML的解析。 安装库 pip3 install lxml 导入 from lxml import etree Xpath的常用规则 表达式 描述 nodena
【爬虫】在使用xpath时，排除指定标签
aqua75836的博客
03-30 2758
xpath排除某个节点 主要时应用name()这个函数获取便签名 res = html.xpath("//*[name(.)!='style']") 转载于:https://www.cnblogs.com/XD00/p/10626320.html
怎样用xpath去除某个不想要的元素，从而选择满意的内容
weixin_41534322的博客
03-20 5335
html=''''<div class="shici_list_main"> <h3><a href="/chaxun/list/3075417.html" target="_blank">《长干行二首》</a></h3> <div class="shici_conte...
xpath 过滤排除某个标签
haijun04222的博客
07-18 5827
提取某个网页的所有图片，所有图片的父标签是不确定的，而需求是要排除<a>标签下的图片 <div style='background-color:#993300; text-align: center;'> <div style='text-align: center;clear: both; pad...
xpath表达式，提取标签下的全部内容（将其他标签过滤）
weixin_34326429的博客
11-14 1188
例如要提取span下的内容 //div[@class="content"]/span 正确的其中一种写法如下data = response.xpath('//div[@class="content"]/span[descendant-or-self::text()]')it['content'] = data.xpath('string(.)').extract()【转】xpath基本语法ht...
一周爬虫集训任务二：学习beautifulsoup+xpath
qq_30006749的博客
04-09 944
一周爬虫集训任务二：学习beautifulsoup+xpath1 任务2 beautifulsoup2.1 简介2.2 安装参考 1 任务 Task2（2天） 2.1 学习beautifulsoup 1. 学习beautifulsoup，并使用beautifulsoup提取内容。 2. 使用beautifulsoup提取丁香园论坛的回复内容。 3. 丁香园直通点：http://www.dxy.cn...
python爬虫从0到1(第六天)——xpath数据解析案例
weixin_43770993的博客
03-16 348
需求：某侠网对于最新上市大作的名称，注：名称在第二级页面就已经有了的，但是为了大家练习代码与xpath，所以我们解析到第三级详情页面。主页如上图所示，接下来对我们的需求进一步进行解析，从需求中我们可以知道我们采集的目标是最新上市的大作，所以从主页来看的话种类比较繁杂，就连人工直接判断“大作”都会非常困难，所以不难想象如果要让代码实现从主页去采集“大作”数据的话更加的难以实现。因此，在本需求中我们访问到站点主页之后要做的第一步就是分析并找出“大作”所在。
Python网络爬虫实战:爬取中国散文网青年散文专栏文章
nmdbbzcl的博客
09-03 3435
一、引言一、引言在当今数字时代,网络爬虫技术已成为获取和分析大规模在线数据的重要工具。本文将介绍一个实际的爬虫项目:爬取中国散文网青年散文专栏的所有文章。选择中国散文网作为爬取对象,是因为它是国内知名的散文平台,尤其是其青年散文专栏汇集了大量新生代作家的优秀作品,具有重要的文学价值和研究意义。本项目的主要目标是获取青年散文专栏中的所有文章,并将其保存为txt格式的文本文件,便于后续的文本分析和研究。
精通XPath与CSS选择器：Python爬虫数据提取的终极秘籍
XPath和CSS选择器是两种广泛使用的元素定位方法。它们各自拥有独特的语法结构和使用场景，使得开发者能够根据需求选择最合适的方法来提取所需数据。 ## 1.1 XPath与CSS选择器的定义和作用 - **XPath** (XML Path ...
xpath 过滤指定标签
zf3419的博客
01-09 6341
//div/*[not(name='h3')]/text()
python爬虫之xpath格式转换与去除多余标签、解决部分重定向问题的方法
小木的博客
07-11 1万+
写在前面的话： 实习了半个多月，总结一下学到的内容，还有在做项目中遇到的问题及其解决方式。 一. xpath的一些用法 1. 转换格式 将解析过的 xpath 转换成 HTML 字符串 为什么会用到这个，是因为之前在爬取一些js包含的内容时用到了js2xml 二. 数据库的连接 1. 连接 为了项目的维护，所以形成了加入大量异常捕捉以及打日志的习惯，便于排错。 import pymysql pymysql.install_as_MySQLdb() from Log import Log log = Lo
【那些反爬和反反爬】xpath根据兄弟节点定位元素、根据祖先节点排除标签、数据存储
weixin_44624036的博客
11-10 1343
正常对于一个百科类网站而言，一拿到这个需求，第一反应肯定是先弄一个游戏角色名的list，然后挨个进行search，抓取返回的页面内容。然而当我想进一步索要游戏角色名的list时，得到的回复是：没有现成的游戏角色名，把萌娘上有的游戏角色爬了就行。即便在度娘的帮助下，我能找到的游戏角色也就那么几个，再去除一些萌娘没有收录的词条，就所剩无几了。观察页面源代码发现，表格的第一列（即带有xx角色字样的标题列）跟其右边的内容是一一对应的，同在一个tr标签下，也就是说，他们是兄弟节点。这分类都是啥啊，太乱了吧。
xpath过滤标签内的其他标签获得全部内容
gaoyang8320的博客
06-18 1万+
最近在爬一个网站https://www.malwaredomainlist.com/mdl.php主要是把表格中的数据爬下来 在浏览器中审查元素可知，所需要的数据在一个table标签中，如下图所示： 可通过xpath提取出table中的tr标签，如下： selector = Selector(response) products = selector.xpath('//table[@cl...
Xpath -- 删除标签
MarkAdc的博客
04-27 4043
删除网页源代码的某些标签
xpath获取不包含某一子标签的a标签
大潘的博客
01-25 2846
获取子标签没有 img 标签的a标签 xpath('//li//a[not(img)]')
python爬虫去除html中特定标签、去除注释、替换实体
热门推荐
菠萝盖饭的博客
04-25 2万+
html数据清洗之去除特定标签 前言：本文主要讲w3lib库的四个函数 html.remove_tags() html.remove_tags_with_content() html.remove_comments() html.remove_entities() 文章目录html数据清洗之去除特定标签remove_tagsremove_tags_with_contentremove_comm...
selenium元素定位中css或者xpath不选择某一类元素
07-30 6699
不选择某一类元素，使用 :not(属性值) 例如，下列标签中，不选择class为disable的span标签 则 这样写 dd:not(.disabled) > span 或者 dd:not(.disabled) span
xpath语法
weixin_42558201的博客
10-30 382
Xpath判断某个属性是否包含或不包含指定的属性或值 # 选择不包含class属性的节点 ".//span[not(@class)]" # 选择不包含class和id属性的节点 ".//span[not(@class) and not(@id)]" # 选择不包含class="expire"的span ".//span[not(contains(@class,'expire'))]" # 选择包含class="expire"的span ".//span[contains(@class,'expire').
XPath 动态获取
最新发布
02-18
另外，用户可能想知道如何验证XPath的有效性，比如在浏览器控制台中测试，或者使用工具如XPath Helper。这部分在之前的回答中提到了浏览器控制台的使用，可以再次强调。 最后，总结动态获取XPath的最佳实践，比如...
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值