scrapy数据库写入（可用于多个类型的item对象或单个item对象）

最新推荐文章于 2023-03-15 17:43:15 发布

原创

最新推荐文章于 2023-03-15 17:43:15 发布 · 2.9k 阅读

5 ·

CC 4.0 BY-SA版权

该博客详细介绍了如何利用Scrapy爬虫框架将抓取到的数据有效存储到数据库中，无论是处理单个item对象还是多种类型的item对象，都提供了相应的方法和实践案例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# 在项目目录下的items中定义类型，并插入数据，目的在于不用判断不同的item对象，传递过来的item是什么类型，就可以执行对应类型中save函数


# 一级页面图片数据信息
class ImgItem(scrapy.Item):
    #获取的图片链接
    src = scrapy.Field()
    url = scrapy.Field()
    title = scrapy.Field()
    article_nums = scrapy.Field()
    look_nums = scrapy.Field()
    referer = scrapy.Field()

    def save(self, cursor):
        sql = "INSERT INTO section(title, article_nums, look_nums, url, src)VALUES('{}',{},{},'{}','{}')".format(self['title'], self['article_nums'], self['look_nums'], self['url'], self['src'][0])
        cursor.execute(sql)


# 详情页面数据
class ArticleItem(scrapy.Item):
    a_type = scrapy.Field()
    title = scrapy.Field()
    description = scrapy.Field()
    create_time = scrapy.Field()
    look_nums = scrapy.Field()
    href = scrapy.Field()
    referer = scrapy.Field()

    def save(self, cursor):
        sql = "INSERT INTO article(title, a_type, look_nums, descrition, create_time, href)VALUES('{}','{}',{},'{}',