python使用xpath提取数据_Scrapy/Python/XPath-如何从数据中提取数据?

本文讲述了Scrapy新手在使用XPath解析网页时遇到的问题,尝试提取div中ul元素下li的标题和链接,实际输出结果不符合预期。作者寻求解决思路和建议。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

我是Scrapy新手,刚开始研究XPath。

我正试图从一个div中的html列表项中提取标题和链接。下面的代码是我想如何进行的(选择ul div,按I d,然后在列表项中循环):def parse(self, response):

for t in response.xpath('//*[@id="categories"]/ul'):

for x in t.xpath('//li'):

item = TgmItem()

item['title'] = x.xpath('a/text()').extract()

item['link'] = x.xpath('a/@href').extract()

yield item

但我得到的结果和这次尝试一样:def parse(self, response):

for x in response.xpath('//li'):

item = TgmItem()

item['title'] = x.xpath('a/text()').extract()

item['link'] = x.xpath('a/@href').extract()

yield item

其中导出的csv文件包含从源代码到下的li数据。。。

我不是专家,我已经做了很多尝试,如果有人能对此有所了解,我将不胜感激。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值