复制的Xpath抓取的内容为空

最新推荐文章于 2024-07-30 16:50:04 发布

小小蒲公英

最新推荐文章于 2024-07-30 16:50:04 发布

阅读量7.7k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：报错 Python

本文链接：https://blog.youkuaiyun.com/weixin_39777626/article/details/79334532

Python 同时被 2 个专栏收录

120 篇文章

订阅专栏

报错

47 篇文章

订阅专栏

本文介绍了一个关于XPath使用的小技巧，即如何正确地从网页中提取评论位置信息。通过对比正确的XPath写法与错误示例，文章指出浏览器自动优化XPath时可能引入的问题，并给出了具体的修正方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原代码

coms=comments.xpath('//*[@id="newlist_list_content_table"]/table')
for com in coms:
    position=com.xpath('tbody/tr[1]/td[1]/div/a/text()')

纠正:去掉xpath中的tbody
原因：浏览器复制的xpath会自动优化，自己加上tbody，但网页源代码里是没有的

coms=comments.xpath('//*[@id="newlist_list_content_table"]/table')
for com in coms:
    position=com.xpath('./tr[1]/td[1]/div/a/text()')

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小小蒲公英

关注关注

3
点赞
踩
2

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

python xpath获取多个li标签内容是空？还得结合正则表达式来爬取信息

net_code的博客

05-26

3582

python问题： xpath获取多个li标签内容是空的？ from scrapy.selector import Selector 想通过Selector爬取网站信息，同时保存多个li标签中的title标签值，总是得到空的列表。 names = sel.xpath('//*[@class="list-box"]/li/a/@title') 因为title标签内容和a标签文本内容一致，想获取文本，结果也为空列表。 name=sel.xpath('//div/ul[@class="list-box"]//

python爬小说xpath导出_如何解决python xpath爬取页面得到空列表（语法都对的情况下）...

weixin_39819152的博客

12-10

1415

引言：很多网页呈现给我们的静态页面，但是实际上是由服务器端的动态页面生成的。再加上网站设有反爬虫机制，所以抓取到的页面不一定和源码相同。所以！！从源码里copy xpath，不一定能取到数据！实例：非常的简单，从百度首页上，抓取“新闻”这两个字。import requestsfrom lxml import etreeurl="http://www.baidu.com"ua={'User-Agen...

3 条评论您还未登录，请先登录后发表或查看评论

Xpath定位列表返回为空

喜欢分享工作中遇到的Bug和技术

08-09

1793

Xpath定位列表返回为空，返回为空的原因可能是以下几种可能性之一： XPath路径错误。动态加载内容：有些网页使用JavaScript来动态加载内容，XPath可能无法直接捕捉到动态加载的元素。如果视频是通过JavaScript添加到页面上的，可能需要使用Selenium或其他工具来模拟浏览器行为，并等待视频加载完成后再查找它。视频标签不存在。要解决动态加载内容的问题，可以尝试使用Selenium或其他工具来模拟浏览器行为。Selenium是一个自动化测试工具，可以模拟用户在浏览器中的行为，包括加载页

爬虫：使用Chrome谷歌浏览器自动获取xpath爬取内容为空

KaiSarH

11-10

2027

使用Chrome谷歌浏览器自动获取xpath爬取内容为空

Xpath中text()方法获取列表为空问题解决方法

qq_61177928的博客

02-10

2096

When we use XPath to crawl web pages, we may encounter such a problem: the list printed using the text method is empty, whichcan be caused by non specified direct content. attention:text() method can only get direct content, string(.) can get whole conte.

浏览器用xpath获取一直为空

Cheng.py的博客

08-04

3420

这两天闲的无聊，随便爬了点小说和趣图，因为好久没使用xpath了，所以遇到了点问题，就是xpath值一直为空，举个例子: 爬取小说网站。使用xpath工具查询小说网站导航栏的xpath路径是这样子的: 值是酱紫的: 用python测试下xpath import requests from lxml import etree headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHT

Python带你看文献—xpath抓取知网文献!

PythonJavaPHP的博客

11-21

3344

在做学术的道路上，陪伴我们的不是对象（可能没有），不是家人（可能不在身边），甚至不是头发（日减稀疏），始终不离不弃的肯定是浩如烟海的论文。查阅文献常用的网站当属知网，为了实现快速翻阅、应用有类似纸质书体验的效果，我们今天就用Python来翻一翻知网上顶级期刊的文献目录。一、案例简介我们进入中国知网网站，点击出版物检索，选择期刊导航，输入《会计研究》。就进入了目标网址：ht...

【python练习】xpath抓取58同城二手房房名及价格具体步骤

UnalomeCX330的博客

07-30

1153

使用xpath进行抓取实战58同城二手房房名和价格，从b站学习，本文章为学习后的自我梳理。视频路径：BV1ha4y1H7sx 的 P25

Python爬虫：xpath，cookie都正确仍然无法爬取需要的内容解决方法之一

m0_71242960的博客

12-23

2475

经过很多次尝试以及仔细观察所爬取的html代码内容，我发现有一个标签里含有的css代码：style = display:none ，这行代码可以把这个标签里面的内容隐藏。展开这个标签里面的内容，很可能就是我们所需要的真实的页面a标签里面的url地址。注意，这里说了一般，有些网站的反爬措施很高级，甚至会封掉你的ip。看这篇文章的猿猿们肯定有了一定的python-xpath爬虫基础了，后面对li_tree的处理以及延伸获取所需要的页面内容我在这就不介绍啦！这样我们就得到了正确的li_tree。

为什么我的xpath是从开发者工具复制过来的但是获取不到数据

最新发布

03-31

根据引用内容，用户可能在使用开发者工具直接复制XPath时，得到的路径过于依赖浏览器生成的特定结构，比如包含很多索引或动态生成的类名，这些可能在页面结构变化时失效。首先，我应该分析为什么复制的XPath会失效...

关于数据抓取之xpath提取text为空问题的原因和解决方案

weixin_33835690的博客

12-15

8258

今天在抓取淘宝网网页的时候，使用了： #店名 shopname = driver.find_element_by_xpath(".//*[@id='page']/div[2]/div/div[2]/ul/li[1]/a/span").text.strip() #掌柜名 dea...

python Htmlssion 抓取标签抓取失败，抓取到的内容为空

liu_feng_zi_的专栏

05-25

768

问题：使用python进行网页内容抓取时，标签明明存在，但抓取下来的内容总是为空，网页结构如下：解决：检查好久，觉得是不是上面的<script>标签的原因打开<script>标签一看，果然，<a>标签是由<script>标签中，document.write()方法填充的可能是由于这个原因导致的，因此后面就直接抓取<script>标签，然后根据里面的逻辑进行了解析 ...

Python爬虫——从浏览器复制的Xpath无法解析（tbody）

zy010101博客

04-20

3935

今天遇到一个问题，我的爬虫想抓取一个网页上的有些内容，使用Xpath解析的方式。前几个内容都可以被Xpath解析，但是最后一个标签内的内容始终解析不到，困扰了我一上午。最后我一步一步尝试解决了。但是我并不知道是为什么？这个场景就是程序已经执行起来了，但是你完全不知道它为什么能正常运行。下图可以完美描述。下面这个视频更加生动：https://www.bilibili.com/video/av370044900/，建议反复观看。后来，经过我返回斟酌关键字，进行搜索，看到前辈们的经验，发现原来是浏览器

xpath定位到标签取不到数据_爬虫学习之xpath

weixin_32602775的博客

01-26

2266

前面学习了使用requests获取页面源码，用Requests库获取网页并保存今天一起学习如何解析源码？xpath表达式：是最常用最便捷高效的一种解析方式且，通用性强。解析原理：1、实例化一个etree对象，且需要将被解析的页面源码数据加载到该etree对象中。2、调用etree对象中的xpath方法，结合xpath表达式实现标签定位和内容获取。环境安装：pip install lxml...

python爬虫论文摘要怎么写_Python 爬虫没有思路？可以看看这篇文章

weixin_39531780的博客

11-24

479

原标题：Python 爬虫没有思路？可以看看这篇文章可以说爬虫是学习 Python 的入门必修课。当能独立写出第一个完整的爬虫的时候，我们已经迈出了一大步。因为在这过程中，我们已经学会了如何查看文档，学会使用 Python 相关库的操作，怎样使用 Chrome 的开发者工具（相关工具）和把抓取的数据保存到数据库中等等一系列操作，当然收获最多的还是学习 Python 的自信心。下面以抓取知乎图片为例...

利用PYTHON爬虫，Xpath路径正确但是返回数据为空

lililimx的博客

11-22

2264

利用PYTHON爬虫，Xpath路径正确但是返回数据为空

关于xpath正确仍然返回空列表的原因

无唔吾

01-14

2878

1.元素中有tbody，xpath无法解析 2.网页有js渲染，requests获取的源代码是渲染前的代码，xpath解析不到这个内容所以返回空 3.获取到的源代码被注释掉了

xpath提取内容为空

10-27

2. **节点状态**：如果目标元素是空元素（如`<div/>`），它的文本内容确实为空，XPath `text()`函数会返回`''`而不是`null`。 3. **属性值**：如果是提取属性值，属性可能本身就没有值，这时`@attribute_name`会...