python爬取内容为空怎么剔除_python - 用scrapy爬取网站内容时,如何忽略某些内容为空的值;...

本文介绍了在使用Python的Scrapy框架爬取京东手机信息时,如何处理返回值中内容为空的情况。通过示例代码展示了如何在解析网页数据时忽略空值,以及在数据管道中如何过滤空字段,确保入库数据的完整性和准确性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

我爬取京东上所有手机信息时会碰到如下问题:

1、返回值过多,如下图片所示:

c47fef5f3fe96a81cb8d30c644693710.png

2、spider代码如下:

-- coding: utf-8 --

import scrapy

from scrapy.http import Request

from ueinfo.items import UeinfoItem

class MrueSpider(scrapy.Spider):

name = 'mrue'

allowed_domains = ['jd.com']

start_urls = ['http://jd.com/']

def parse(self, response):

key="手机"

for i in range(1,2):

url="https://search.jd.com/Search?keyword="+str(key)+"&enc=utf-8&page="+str((i*2)-1)

#print(url)

yield Request(url=url,callback=self.page)

def page(self,response):

#body=response.body.decode("utf-8","ignore")

allid=response.xpath("//p[@class='p-focus']//a/@data-sku").extract()

for j in range(0,len(allid)):

thisid=al

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值