scrapy Pipline保存到数据库

最新推荐文章于 2025-06-06 21:25:47 发布

DN_XIAOXIAO

最新推荐文章于 2025-06-06 21:25:47 发布

阅读量223

点赞数

分类专栏： scrapy 文章标签： big data sql python

本文链接：https://blog.youkuaiyun.com/DN_XIAOXIAO/article/details/120816801

版权

scrapy 专栏收录该内容

7 篇文章

订阅专栏

该博客介绍了一个Python爬虫项目，使用TqybPipeline类将抓取的天气数据存储到MSSQL数据库中。通过pymssql库连接数据库，实现数据的插入操作，并在spider关闭时确保数据库连接的正确关闭。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import json
import pymssql
class TqybPipeline:
    # #保存到当前路径
    # def open_spider(self,spider):
    #      self.fp=open("天气.txt",'w',encoding='utf-8')
    # def process_item(self, item, spider):
    #     self.fp.write(json.dumps(dict(item),ensure_ascii=False)+"\n")
    #     return item
    # def close_spider(self,spider):
    #      self.fp.close()
    def __init__(self):
        self.conn = pymssql.connect(server='192.168.1.104',port=1433,user='sa',password='******',database='stuDB',charset='UTF-8')
        self.cursor = self.conn.cursor()
    def process_item(self,item,spider):
        sql = 'insert into tianqi(rq,tq,tem,dw,city) values(%s,%s,%s,%s,%s)'
        self.cursor.execute(sql,(item['day'],item['tq'],item['gw'],item['dw'],item['city']))
        # sql ='select * from tianqi'
        # self.cursor.execute(sql)
        self.conn.commit()
        return item
    def spider_close(self,spider):
        self.cursor.close()
        self.conn.close()
在setting中添加
ITEM_PIPELINES = {
    'tqyb.pipelines.TqybPipeline': 300,

}