scrapy爬虫始终定位不到元素
欲抓取网页链接
谷歌浏览器审查时界面
复制的xpath路径为//*[@id=“history”]/tr[1]/td[1]，使用浏览器控制台验证无误
但使用get和xpath得到值为空列表
查看网页源代码对应路径下确实无此元素
疑为异步加载网页，查看network
搜索并未找到欲抓取元素，难受。
不断调试试验，最终在firefox复制xpath绝对路径，并使用selenium成功定位到元素，成功代码如下：
headers = scrapy爬虫始终定位不到元素
在尝试使用Scrapy爬虫抓取网页时，发现通过XPath无法定位到目标元素。经过检查，确认XPath路径正确，但在源代码中未找到该元素，怀疑是由于网页的异步加载导致。通过分析网络请求，未能直接找到所需元素。最终改用Firefox和Selenium，通过获取XPath的绝对路径成功定位并抓取了元素，反映出基础能力还需加强。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
