python实现不同数据库间数据同步

本文介绍如何使用Python程序实现数据库之间的数据同步。针对几十张表从A数据库汇聚到B数据库,代码以面向过程编写,通过时间区间抽取数据并使用流式游标和executemany批量插入,确保效率并降低内存消耗。配置文件包含表名和最小时间,同步时间间隔可调整。执行结果和异常日志记录在两个不同的txt文件中。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

功能描述
数据库间数据同步方式很多,在上篇博文中有总结。本文是用py程序实现数据同步。
A数据库中有几十张表,要汇聚到B数据库中,且表结构一致,需要准实时的进行数据同步,用工具实现时对其控制有限且配置较繁琐,故自写程序,可自由设置同步区间,记录自己想要的日志
代码
本代码实现功能简单,采用面向过程,有需求的同学可以自己优化成面向对象方式,在日志这块缺少数据监控,可根据需求增加。主要注意点:
1、数据抽取时采用区间抽取(按时间区间)、流式游标迭代器+fetchone,避免内存消耗
2、在数据插入时采用executemany(list),加快插入效率

import pymysql
import os
import datetime,time

def update_time(content):
    with open(filepathtime, 'w') as f:
        f.writelines(content)

def recode_log(content):
    with open(filepathlog, 'a') as f:
        f.writelines(content)

def transferdata():
    #1、获取需要抽取的表,抽取数据的时间点
    with open(filepathtime, 'r') as f:
        lines = f.readlines()  # 读取所有数据
        print("需要同步的表信息",lines)
        for line in lines:
            startdatetime = time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))
            tablename_list =line.split(',')
            #print(tablename_list)
            #print(tablename_list[-1])
            tablename_list[-1] = tablename_list[-1].replace('\n','')
            #print(tablename_list)
            tablename = tablename_list[0]
            updatetime = tablename_list[1]
            #print(tablename,updatetime)

            #2、抽取此表此时间点的数据,同步
            updatetime_s = datetime.datetime.strptime(updatetime, '%Y-%m-%d %H:%M:%S')
            updatetime_e = (updatetime_s + datetime.timedelta(hours=1)).strftime
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值