在使用Scrapy爬虫抓取网页时，发现爬虫获取的源码中只包含了部分表格元素`<tr>`，而浏览器定位到的元素更多。通过另存response源代码并在Edge浏览器中打开，确认了这一差异。尽管XPath表达式正确，但在爬虫中匹配到的`<tr>`元素远少于实际。检查源代码并未发现明显区别，问题原因待解。
scrapy爬虫调试得到结果如下：
此时，再将response获得源代码另存，用edge打开，显示如下：
使用控制台验证定位的xpath路径表达式如下：
仔细观察，爬取同一网页的结果，发现只含有网页显示的table元素的子元素tr，且此tr的子元素首个td节点不同的首个符合要求的tr元素节点，现象如下：
最低0.47元/天 解锁文章
扫一扫
3万+
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
