scrapy中的items是进行数据中的清洗

最新推荐文章于 2024-06-24 18:32:35 发布

原创最新推荐文章于 2024-06-24 18:32:35 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#scrapy中的items是进行数据中的清洗

python 专栏收录该内容

198 篇文章

订阅专栏

本文介绍了一个使用Scrapy框架的爬虫项目，重点在于处理职位薪资数据，通过自定义函数chage_salary计算最低和最高工资的平均值。文章详细展示了如何在ItemLoader中配置输入处理器MapCompose来应用该函数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import scrapy

from scrapy.loader import ItemLoader

from scrapy.loader.processors import TakeFirst,MapCompose

注释：求最低工资和最高工资的平均值
def chage_salary(s_value):
注释：如果-不在s_value中就说明是工资面议
if “-” not in s_value:
return s_value
all_salary = s_value.split("-")
avg_salary = 0
if len(all_salary) == 2:
注释：这是做的工资的切片
avg_salary = (float(all_salary[0][:-1]) + float(all_salary[1][:-1]))/2
else:
注释：只有最低或者最高工资
all_salary = float(all_salary[0][:-1])

return "{}k".format(avg_salary)

class JobItemLoder(ItemLoader):
default_output_processor = TakeFirst()

class SimulatorspiderItem(scrapy.Item):
# define the fields for your item here like:
salary = scrapy.Field(
input_processor = MapCompose(chage_salary)
)
position = scrapy.Field()