Scrapy-Redis从redis中取出item存到MySQL中

最新推荐文章于 2024-04-09 15:15:46 发布

莫•小七

最新推荐文章于 2024-04-09 15:15:46 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： scrapy

本文链接：https://blog.youkuaiyun.com/xuangusai4316/article/details/83539699

scrapy 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一个从Redis数据库向MySQL数据库进行数据迁移的Python脚本实例。该脚本利用了pymysql和redis模块，实现了从Redis中读取数据并将其插入到MySQL中的功能，特别适用于房屋租赁信息的数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import json
import redis
import pymysql

def main():
# 指定redis数据库信息
rediscli = redis.StrictRedis(host=‘10.0.126.13’, port=6379, db=0)
# 指定mysql数据库
mysqlcli = pymysql.connect(host=‘47.94.252.144’, user=‘root’, passwd=’***’, db=‘tc58’, port=3306,
use_unicode=True)

while True:
    # FIFO模式为 blpop，LIFO模式为 brpop，获取键值
    source, data = rediscli.blpop(["zufang:items"])
    item = json.loads(data)

    try:
        # 使用cursor()方法获取操作游标
        cur = mysqlcli.cursor()
        # 使用execute方法执行SQL INSERT语句
        cur.execute(
            "INSERT INTO zufang(title, room, pic, price, jingjiren, address, phone) VALUES (%s, %s, %s, %s, %s, %s, %s)",
            [item['title'], item['room'], item['pic'], item['price'], item['jingjiren'], item['address'],
             item['phone']])
        # 提交sql事务
        mysqlcli.commit()
        # 关闭本次操作
        cur.close()
    except pymysql.Error as e:
        print("Mysql Error %d: %s" % (e.args[0], e.args[1]))

if name == ‘main’:
main()