scrapy中连接mysql

本文介绍了一种使用Python的pymysql模块将爬取的图片数据存储到MySQL数据库的方法。通过实现BizhiPipeline_MySQL类,文章详细展示了如何建立数据库连接、执行插入操作并确保数据正确提交。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

class BizhiPipeline_MySQL(object):
    def open_spider(self,spider):
        # 创建数据库连接
        self.conn = pymysql.connect(host='localhost', user='root', password='he1234', database='picture')
        # 创建游标对象
        self.cursor = self.conn.cursor()
    def process_item(self,item,response):
        global a
        # sql语句
        insert_sql = """
                insert into ONE_PICTURE(id,content) VALUES (%s,%s)
                """
        # 插入到数据库
        self.cursor.execute(insert_sql,(item['a'],item['picture_content']))
        # 提交数据
        self.conn.commit()

    def close_spider(self, spider):
        # 关闭游标和连接
        self.cursor.close()
        self.conn.close()
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值