验证oracle数据与mysql数据同步的一致性

Oracle GoldenGate实现MySQL到MySQL数据同步 Oracle GoldenGate实现MySQL到MySQL数据同步 使用OGG实现mysql数据同步到mysql: 环境 下面开始 一. 源端(192.168.2.33) 修改/etc/下my.cnf参数:vi /etc/my.cnf 在[mysqld]下添加参数 binlog_format=ROW 重启mysql service mysqld restat 创建OGG用户并授权 ... 阅读详情

背景

在之前搭建了databus 用于oracle数据同步到mysql,同时也用了otter+canal 用于mysql数据同步到oracle,之前也写过监控databus和验证数据的脚本,但也只是验证,真正邮件收到不一致的数据后需要来做修复。所以验证数据的脚本产生了。

思路

产生不一致的数据无非是mysql端或oracle端或多或少数据,我们只按照id来进行比对就好(每5000个id对比一次),通过set去重,最终结果输出到文本中。

代码

读取配制文件中的表名,将查到的结果存入set,用mysql oracle两个结果集的差值得到其或多或少的id。

import pymysql
import cx_Oracle

def readTableName(filename,ouser,opword,odb,muser,mpword,hostname,mdb):
  
  with open(filename,'r') as f:
    for fcon in f.readlines():
      fc = fcon.strip().strip('\n')
    # escape startswith # line
      if fc.startswith('#'):
        continue
      elif fc == "" or fc is None:
        continue
      else:
      #execute sql
        try:
          #pdb.set_trace()
          info = 'table_name:{:30}  '.format(fc)
          writeFile(info)
          resstr='mysql has {}  and oracle has {} '

          #table_name add prifix
          owner = 'tc'
          # start with t  owner = tc  else kc
          if not fc.startswith('t'):
            owner='kc'
          selsql = 'select min(id),max(id) from {}'.format(fc)

          #
          rescnt = executeSqlStatistic(hostname,muser,mpword,mdb,selsql)
 
          v_begin = rescnt[0][0]
          #print(v_begin)
          v_end   = rescnt[0][1]
          #print(v_end)
          v_step  = v_begin+1000 #get 5000 id per times
          mysqlset  = {}
          oracleset = {}
          msetres   = {"",} #result of mysql  set 
          osetres   = {"",} #result of oralce set 
          selidsql = 'select id from {}    where id>={} and id< {}'
          selidora = 'select id from {}.{} where id>={} and id< {}'
          while v_begin <= v_end:

            idsql = selidsql.format(fc,v_begin,v_step)
            
            resmid = executeSqlStatistic(hostname,muser,mpword,mdb,idsql)
            #print(resmid)      
            mysqlset = set(resmid)   #get mysql id set   

            oidsql = selidora.format(owner,fc,v_begin,v_step)
            
            resoid = executeStatistic(ouser,opword,odb,oidsql)
            oracleset = set(resoid)
            
            #write mysql and oralce id cnt
            if len(mysqlset) != len(oracleset):
              writeFile("mset min id  {}  max id {} cnt is {}  and oset cnt is {} \n".format(v_begin,v_step,len(mysqlset),len(oracleset)))
              
              #get m - o set  and  o - m set  and clear set  add v_begin
              msetres.update(mysqlset - oracleset)
              oracleset.update(oracleset - mysqlset)
            v_begin += 1000
            v_step  += 1000
            
            #print("resmset {}".format(msetres),"\n")
            #print("resoset {}".format(osetres),"\n") 
            mysqlset  =  {}
            oracleset =  {}
          #print(reso)
          orares = resstr.format(msetres,osetres)
          writeFile(orares)
          writeFile('\n')

        except Exception as e:
          print(e)

连接mysql和oracle读取数据方法

def executeStatistic(user,pword,instance,sql):

  conn = cx_Oracle.connect(user,pword,instance)
  cursor = conn.cursor()
  #owner = 'tczx'
  # start with t  owner = tczx  else kcrm
  #if not table_name.startswith('t'):
  #  owner='kcrm'
  #selsql = 'select max(id),count(1) from {}.{}'.format(owner,table_name)

  cursor.execute(sql)
  res =[]
  try:
    res = cursor.fetchall()
  except cx_Oracle.Error as err:
    print(err)
  finally:
    cursor.close()
    conn.close()
  #print(res)
  return res

#execute from mysql
def executeSqlStatistic(hostname,uname,pword,db_name,sql):

  conn = pymysql.connect(host=hostname, port=3306, user=uname, password=pword)
  cursor = conn.cursor()
  changedb = 'use `{}`'.format(db_name)
  cursor.execute( changedb )

  #selsql = 'select max(id),count(1) from {}'.format(table_name)
  
  cursor.execute(sql)  
  res=[]
  try:
    res = cursor.fetchall()
  except pymysql.Error as err:
    print(err)
  finally:
    cursor.close()
    conn.close()
  return res

记录日志

#write statistic to file 
def writeFile(info,filename='consistency_log'):
  with open(filename,'a+') as f:
    f.write(info)

主方法,读取配制文件最好使用绝对路径,这样即使把脚本放到定时任务中也不会出问题

if __name__ == '__main__':
  with open('statistic_log','w') as f:
    f.write('')
  hostname = ''
  mdb = 'dbname'
  muser = 'user'
  mpword = 'pwd'
  #readTableName(filename,ouser,opword,odb,muser,mpword,hostname,mdb):
  odb = 'ip:port/orcl'
  ouser = 'user'
  opword = 'pwd'
  readTableName('check_table.txt',ouser,opword,odb,muser,mpword,hostname,mdb)
Mysql全量数据同步Oracle步骤详解 阅读详情

相关推荐

[Oracle, MySQL] Oracle通过dblink连接MySQL

业务上有这么一个需求,需要把Oracle的一些数据同步到MySQL,如果每次都是手动同步的话,实在太麻烦,因此花了点时间研究了下Oracle直连MySQL的方式。 参考文档:Detailed Overview of Connecting Oracle to MySQL Using DG4ODBC Database Link (Doc ID 1320645.1) 版本信息: Oracle:

Zhu_Julian's Notes (朱显杰的技术博客) 2万+

oracle迁移至mysql数据表字段以及索引核对

由于mysql数据库是从oracle最早的用户下拉取的数据表,后期oracle的用户数据又新增了一些数据表和删除了一些后期开发不需要的表,没有及时同步所以有很大的出入,需要进行核对,与现在Oracle用户已开发好的数据表一致。其实有比较简单的方式可以进行核对,项目还没上线,数据库表中也没有数据,完全可以重新建库,由于甲方没有给重新建库的权限,所以只能想其他的办法进行核对表和字段类型。

qq_41424476的博客 953

使用Oracle GoldenGate实现Oracle到MySQL的数据同步

通过使用Oracle GoldenGate,我们可以实现Oracle数据库到MySQL数据库的实时数据同步。这为企业提供了一个强大的数据复制和集成解决方案,可以支持复杂的数据同步使用Oracle GoldenGate实现Oracle到MySQL的数据同步。在本文中,我们将介绍如何使用Oracle GoldenGate将Oracle数据库中的数据同步到MySQL数据库。在本文中,我们将介绍如何使用Oracle GoldenGate将Oracle数据库中的数据同步到MySQL数据库。

CsmbPascal的博客 499

Mysql迁移后验证是否相同,oracle数据库迁移到mysql数据库怎么避免迁移过程中流程节点数据及状态丢失和怎么验证数据完整性?...

流程节点数据是指你们有多个数据库吗? 分库的意思吗? 没太懂。当数据迁移完成以后,如何确保数据的正确迁移,没有遗漏和错误是一个很难的问题,这里的难不是实现起来困难,而是把它自动化,然后节省人力有点难,因为两者的数据类型不同,数据量偏大,写一些脚本去做检查效果不大我们的数据校检工作主要分为在导入的过程中的log和警告,在load的时候SHOW WARNINGS和errors,在使用python、og...

weixin_39802962的博客 552

【74HC595芯片】核心驱动代码

74HC595是一个8位串行输入、并行输出的位移缓存器:并行输出为三态输出。在SCK 的上升沿,串行数据由SDL输入到内部的8位位移缓存器,并由Q7’输出,而并行输出则是在LCK的上升沿将在8位位移缓存器的数据存入到8位并行输出缓存器。当串行数据输入端OE的控制信号为低使能时,并行输出端的输出值等于并行输出缓存器所存储的值。

weixin_67147824的博客 1850

Python+Seaborn可视化:双因素方差分析结果这样呈现更专业

本文详细介绍了如何利用Python中的Seaborn和statsmodels库,专业地执行并可视化双因素方差分析结果。通过模拟实验数据,演示了从模型构建、统计检验(包括交互作用分析)到诊断验证的全流程。重点展示了如何使用Seaborn绘制交互效应图、组合分布图及热图,将复杂的统计结果转化为直观、富有洞察力的可视化图表,助力科研论文与商业报告的专业呈现。

weixin_29274969的博客 139

亿级数据迁移 从Oracle到Mysql

目的:此处通过给scsActivityEventMapper和scsBaseActivityEventMapper标注不同的数据源,通过DynamicDataSrouce切换数据源双写Oracle和MySQL。执行带事务注解saveActivityEventOut方法时会被TransactionInterceptor拦截,此时未调用mapper接口,则获取默认oracle数据源并绑定在当前线程的resources线程变量上并激活当前事务(actualTransactionActive设置true)。

u014374173的博客 1880

在 SAP Gateway 主机上把 SAML 2.0 配置为 Service Provider:从架构到落地的完整实战

本文详细介绍了在SAP Gateway主机上配置SAML 2.0作为Service Provider的全流程。从概念梳理到实际操作,涵盖了关键步骤:启用本地SP服务、通过反向代理导出元数据、在IdP侧完成对接、配置信任关系与Artifact绑定、设置NameID身份联合等核心环节。特别强调了HTTP Artifact绑定的背道通信机制和证书配置要点,并针对常见错误提供了排障指引。文章注重实操性,结合SAP官方文档与社区最佳实践,为运维团队提供了一套完整的SAML SSO实施框架。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 154

Mysql、Oracle数据比对工具GT-Checksum

【代码】mysql、oracle数据比对工具。

qq_34692500的博客 812

超简单五步实现VOS3000客户端呼入配置

1.查看SIP代理  在注册管理中查看自己线路注册的SIP代理IP地址,记录下来。 2.创建普通账户  创建一个呼入使用的普通账号,选择“计费费率”,根据自己情况选择费率,这里做测试就配置了免费的费率,如果费率不是免费,需要给这个普通账户充值。 3.新建对接网关 新建一个对接网关,点击该网关的“补充设置”,选择“网关类型”为静态IP,然后在IP地址栏填上刚才在注册管理里面记录的SIP代...

非著名运维的博客 1万+

Python的单元测试之unittest

是一个功能类似 unittest 的库,它集合众家标准测试库之所长,和 unittest 相比,功能更为强大,使用更为简单,OpenStack 广泛的利用它编写单元测试。unittest 提供了自动匹配发现并执行测试用例的功能,随着项目代码结构越发庞大,势必有多个测试文件,自动匹配发现并测试用例的功能在此就显得非常有用,只要满足。unittest 提供了丰富的命令行入口,可以根据需要执行某些特定的用例。的测试用例都会被 unittest 发现并执行,测试用例文件的默认匹配规则为 test*.py。

1、测试博主技术知识分享 2、pos行业知识技术分享 3、java后端技术知识分享 4、嵌入式技术知识分享 5、运维部署相关知识分享 283

同步mysql数据到Oracle,日期类型数据差13个小时的问题解决

同步mysql数据到Oracle,日期类型数据差13个小时的问题解决

weixin_47396271的博客 857

Unity开发抖音小游戏存储的几种方法分析

前段时间写小游戏为了省事一直就没有研究抖音小游戏的存储方案,一直使用的是unity中的PlayerPrefs去做的存储,但是后来发现官方会一直提醒让使用抖音sdk中的新文件存储系统,从而降低内存占用。

类人_猿的博客 2538

【Mysql异构实时同步Oracle】OGG12异构同步mysql到oracle(windows mysql实时同步数据到linux oracle)详细文档

OGG12C异构同步mysql5.5到oracle11.2.0.4(windows mysql实时同步数据到linux oracle)详细文档 有一个需求,将一台Windows服务器上的Mysql数据实时同步到Linux下Oracle数据库中,现在笔者有一个安装配置好的Oracle=>Oracle支持DDL的异构同步环境,现在要做的测试是将Windows中的Mysql库表同步到现在已经正常同...

赵延东的一亩三分地 16万+

修复漏洞Windows 2012 Server R2(CVE-2016-2183)、(CVE-2015-2808)、(CVE-2013-2566)

【代码】修复漏洞Windows 2012 Server R2(CVE-2016-2183)、(CVE-2015-2808)、(CVE-2013-2566)

路~可以走过 2773

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Oracle与Mysql的区别

Oracle与Mysql的区别 Oracle和Mysql都是流行的关系数据库管理系统(RDBMS),在世界各地广泛使用;大多数数据库以类似的方式工作,但Oracle数据库和Mysql数据库之间总是存在一些差异的,本篇文章就给大家比较Oracle数据库和MySQL数据库. 文章目录Oracle与Mysql的区别一、本质的区别二、数据库安全性三、SQL语法的区别四、对事务的提交五、存储上的区别六、分页查询七、MySQL和Oracle的字符数据类型比较八、事务隔离级别九、MySQL和Oracle中的备份类型十

顾优秀的博客 2万+

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

OGG搭建 实现MySQLtoMySQL数据同步

Oracle GoldenGate(OGG)实现MySQLtoMySQL数据同步

lnws111的博客 3331

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

MySQL数据同步

一、为了解决数据同步汇聚,数据分发,数据转换,数据维护等需求,TreeSoft将复杂的网状的同步链路变成了星型数据链路。 TreeSoft作为中间传输载体负责连接各种数据源,为各种异构数据库之间架起同步的桥梁, 实现一对多,多对多,多对一等复杂场景的数据同步。 TreeSoft已被广泛应用,每日处理大量大数据的数据维护、数据同步、数据汇聚、数据转换业务。 ...

marko39的专栏 694

Oracle数据同步交换

一、为了解决数据同步汇聚,数据分发,数据转换,数据维护等需求,TreeSoft将复杂的网状的同步链路变成了星型数据链路。 TreeSoft作为中间传输载体负责连接各种数据源,为各种异构数据库之间架起同步的桥梁, 实现一对多,多对多,多对一等复杂场景的数据同步。 TreeSoft已被广泛应用,每日处理大量大数据的数据维护、数据同步、数据汇聚、数据转换业务。 ...

marko39的专栏 819

oracle与mysql同步同步数据库_oracle数据库之间数据同步

这段时间负责某个项目开发的数据库管理工作,这个项目中开发库与测试数据库分离,其中某些系统表数据与基础资料数据经常需要进行同步,为方便完成指定数据表的同步操作,可以采用dblink与merge结合的方法完成,简单方便。操作环境: 此数据库服务器ip为192.168.196.76,有center与branch两个库,一般需要将center的表数据同步到branch,center为源库,branch为目...

weixin_29165725的博客 2498

Oracle实时数据同步方案

将数据变更作为不可变的事件流发布出来,通过一个可靠的消息系统进行缓冲和分发,最后由消费者处理并投递到目标库。优点极高的灵活性与扩展性:可以轻松地增加新的数据消费者。可靠性强:基于Kafka的持久化消息传递。对源库影响极小:通过解析日志而非查询库表来获取数据。技术领先:构建了现代企业的实时数据流基础架构。挑战架构复杂:需要维护多个分布式组件,技术门槛高。端到端延迟:虽然性能很高,但链条比GoldenGate等直接同步工具要长,延迟会稍高一些。运维成本:需要专门的团队来维护Kafka集群和整个数据管道。

weixin_46322148的博客 1238

使用Streamsets将Oracle数据实时同步到MySQL中

相关环境: Oracle 11g:11.2.0.1.0 MySQL:8.0.22 前期准备: 1、打开Oracle的logminer a.在SQL Shell中,以具有DBA的用户身份登录数据库: sqlplus /nolog; conn / as sysdba; b.检查数据库日志记录模式: select log_mode from v$database; 如果查询结果是ARCHIVELOG,则以下操作都不用执行,如果命令返回NOARCHIVELOG,请继续执行以下步骤: c..

JJBOOM425的博客 5425

这款 MySQL、Oracle、HDFS 数据同步工具,有点牛逼!

程序员的成长之路互联网/程序员/技术/资料共享关注阅读本文大概需要 9分钟。来自:blog.youkuaiyun.com/weixin_46902396/article/details/121904705前言我们公司有个项目的数据量高达五千万,但是因为报表那块数据不太准确,业务库和报表库又是跨库操作,所以并不能使用 SQL 来进行同步。当时的打算是通过 mysqldump 或者存储的方式来进行同步,但是尝...

良月柒 561

高效数据移动指南 | 如何快速实现数据库 Oracle 到 Dameng 的数据同步?

本专题将基于实践经验,从常见需求入手,为大家介绍热门数据源与数据目标之间的数据同步(全量/增量)如何实现?了解如何快速搭建数据管道,实现数据的高效迁移与无缝同步。本文教程为:Oracle → Dameng 的数据同步任务。

Tapdata 技术博客 2185

用Kettle+SQL搞定分页迁移:从Oracle到MySQL的千万级数据同步方案

本文详细介绍了如何利用Kettle(Pentaho Data Integration)结合分页SQL技术,实现从Oracle到MySQL的千万级数据高效、稳定迁移。文章重点剖析了分页迁移的核心挑战、Kettle在可视化作业和数据库支持方面的优势,并提供了针对Oracle与MySQL语法差异(如ROWNUM与LIMIT)的SQL改造方案与性能优化技巧,为大数据量表同步提供了完整的实战指南。

red88的博客 971
上一篇: 监控databus脚本
下一篇: 分析无主键表再做优化
python_xep
博客等级 码龄11年 0粉丝 11原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值