异构数据库迁移9 个大坑怎么躲开

【达梦数据库】异构数据库迁移实战记录--Oracle迁移达梦篇 最近做了一些异构数据库迁移方面的工作,在此记录下具体的实施细节以及碰到的问题,方便有需要的小伙伴参考和学习。 阅读详情

“贰过”,重犯同一过失的意思,语出《论语》,完整句子为“不迁怒不贰过”,乃仲尼对其不幸早逝的弟子颜回的极高评价。就it项目而言,从管理者的角度来说,一个错误犯两次,别说是同一个人了,哪怕是同一团队的不同人也不可接受。说到这里,不由得脑补出一位平时慈眉善目的老领导作嗔怒状,大喊“干掉干掉”的恐怖场面。不重犯同一错误真的很难吗,实话实说,确实难,君不闻,人类从历史中得到的最大教训就是从不吸取教训。

笔者上述感叹的背后是有故事的。那是本世纪最“2”的一天,笔者在排查Oracle到ADB(此处指ADB PG,全称AnalyticDB PostgreSQL版,是阿里的MPP架构的数据库)之间数据实时同步过程中,突然发现自己埋了个大雷——没区分空值和空字符串,导致同样的字段值在全量同步阶段标志为空字符串,增量同步阶段则标志为空值,这显然不是一种合乎逻辑的行为。

其实在发现这个问题前,笔者已经在这项目中苦苦挣扎了一个月,在此之前的两天,笔者自以为数据质量已经完全没问题,数据同步达到“又不是不能用”的境界了(笔者注:此处能用是真的能用,非为上线而上线那种能用)。Oracle DB本身确实不区分空值和空字符串,对于搞Oracle出身的工程师,没意识到这个似乎情有可原,然而笔者作为搬砖佬,已经前前后后搬了十几年,数据库异构迁移项目也认认真真地做过好几个,这件事对笔者而言,其实无异于“低级错误”。

回想起来,这个项目笔者做得甚是狼狈,这里面固然有进度紧以及新工具、新技术引入需要边学边用的客观因素,但这不足以平息笔者对自己的愤怒。问题来了,在开源技术使用日益广泛的今天,笔者也可能突然被要求用一个新工具同步数据到一个新数据库,时间还可能更紧迫。到时怎么办呢?再愤怒一次吗?不了不了,还是脚踏实地总结一下,记下这些坑,日后类似项目,哪怕被拿着枪指着头也好,下述问题都要在前期阶段予以考虑。

一、空值和空字符串

对于Oracle DB⽽⾔,空值和空字符串是同⼀回事,其中判断某个值是否为空值/空字符串统⼀使⽤"IS NULL"即可,⾄于=''是⽆效的。

这点对于其余数据库来说,可真不⼀定了。就源端为Oracle DB,⽬标端为其余数据库的项⽬⽽⾔,我们需要与开发商确认好,⽬标端究竟⽤哪种值表⽰源端的空值/空字符。⽽对于实时同步的项⽬来说,还需要在全量同步以及增量同步期间保持数据的⼀致。

除了空值和空字符串以外,其实还有⼀个隐藏的⼤boss——固定⻓度类型中的空格值。以Oracle DB为例,char类型⽤于存放固定⻓度的字符串,⽽⻓度不⾜的字符串则会被⾃动补充空格,对于这种值,⽆论是char_col=''还是char_col is null均⽆法识别,只能通过trim(char_col) is null识别,对此值使⽤length函数会返回本字段的⻓度,⼀个⾮0值。⽽这种数据同步到adb后则表现有⼀定差异了,char_col=''可以识别这种数据(哪怕ADB中也是⽤了固定⻓度的数据类型),然⽽对这个值使⽤char_length函数,结果会返回0,如果实在要把这种数据抓出来,我们还得加⼀个条件oct_length(char_col)>0。很明显,这⼜是⼀个坑!

二、数据类型转换问题

笔者的朋友阿强一直立志做一个温文儒雅的人,嗯,前提是不要让他“写材料”、“擦屁股”以及“估算工作量”!没错,“估算工作量”对他这种以txt狂魔自称的人来说是一种煎熬,光说起这个词,他已经脑补出把pm按在地上,一边揍一边说,“我想做个好人,为什么要逼我”?问题来了,如果让阿强估算这个数据类型转换的工作量,估计他连40米的刀都可以拿出来了。

跨数据库的表字段数据类型转换工作主要涉及“精度”、“效率”、以及“兼容性”等方面。部分数据同步软件确实具备自动转换的功能,然而这种情况,仅对于管理规范的数据库适用,不规范的库则需要耗费较大精力了,下面举几个典型的例子说明这个问题:

以从Oracle DB到PG的同步为例,整型的值固然可以通过number类型(不设定精度和小数位)存放到源端Oracle数据库中,问题来了,PG中应该用啥字段对应了,仅仅安全起见,免得精度丢失,那肯定是numeric类型,然而这毫无疑问存在性能损失。Bigint等类型自然是更好的选择,可是这又牵涉到与开发商沟通这样有没有可能导致应用报错等情况了,这又是一个工作量。

以从Oracle DB到DB2的同步为例,DB2有一个隐性要求,组成主键的字段值前后不能包含空格,否则会被过滤掉,这样会造成一些在源端Oracle数据库本来就不相同的两条记录的在目标端DB2库被误判为同一条记录进而引发数据冲突,影响数据同步。

不要问为什么要在id类字段加空格:第一,这是合法的;第二,这未尝不是一种有创意的备份数据方法。这么干,真的,没毛病!

以从Oracle DB到ADB的同步为例,由于MPP架构需要,我们需要额外指定DISTRIBUTED列。对于ADB而言,这里还有一个附带的要求,这个列应当为主键的一部分。

以Oracle DB到HBase的同步为例,HBase是强制要求有主键的,否则不能同步。之前的项目中,笔者被迫无奈拿Oracle的转换后的ROWID作为HBase的rowkey,满足其同步前置条件。

为什么是转换后?这又是另一个故事了,这里就不展开了,只提示个关键词,“预分区”。

嗯嗯,这明显是个坑。那种由开发商定表结构的项目得心存感激,真的!

三、字符集转换问题

字符集转换深究起来其实并不是容易的事情,几年前笔者所参与的一个O2O同步(即Oracle到Oracle的同步,下同) 迁移项目中,涉及了BIG5到UTF8的转换,当时的同步工具为OGG。这个项目中各种乱七八糟的数据至今仍然对笔者历历在目,当然,这也让笔者能更有经验地处理异构数据库同步中的字符集转换问题。

跨字符集转换的工作其实陷阱不少,因此,条件允许的话,笔者建议尽量规避。当然,遇到PG这种服务器端不支持GBK,而源端Oracle DB偏偏是GBK的情况,那只好迎难而上了,下面为笔者的建议:

涉及中文的情况,所见非所得,判断一条中文记录是否正常的依据,应该为其十六进制编码是否正常。对于Oracle DB而言,我们可以用dump函数,其余DB需要找到类似的。

中文为多字节字符,在不同的字符集下占用的字节数并不一致,典型例子为GBK为2字节,UTF8为3字节。目标端环境可能需要相应调整字节宽度。

不同字符集所涵盖的汉字是不一样的,例如BIG5中就没有“邨”字。

字符集中有一个“自定义”区域,如不进行特殊处理,有可能导致数据丢失。

“乱码”会造成很大的困扰,对于Oracle DB而言,大致有如下几种情况:

无法通过Oracle自带convert函数转换为目标库编码,以ADB为例,这部分数据会导致GPFDIST导入失败,进而影响数据全量同步。

可以通过Oracle自带convert函数转换为目标库编码,但无法重新转换为原有数据,这部分数据会有潜在的数据丢失影响,对于迁移类项目需要重点关注是否涉及“自定义”字符区域。

含义不明的单字节字符,如chr(0)、chr(255),这些字符往往夹杂在正常的字符中,以ADB为例,涉及dts( Data Transmission Service, 数据传输服务,系阿里的数据同步工具/服务)增量同步的话,相应记录有数据一致性风险。

四、特殊字符处理

对于数据库异构同步而言,特殊的字符,诸如单引号、双引号、换行、斜杠、反斜杠等等也是一个困扰项,这一点在数据全量同步阶段尤其明显。

对于文本方式的全量数据同步来说,我们可以考虑下述几种方式:

使用CSV格式;

使用多字节分隔符;

进行数据清洗;

仅同步“正常”数据,“特殊”数据另行处理。

这些内容要说透,需要另外写一篇文章了。

五、异常记录处理

这里的异常记录,指的是那种本身就违反数据库规范,不应该插入到数据库中的记录。

以Oracle DB为例,笔者遇到的记录有异常日期格式以及异常数值两类。

异常日期格式,典型例子有"0000-00-00 00:00:00"和"2022-02-30 00:00:00"。笔者在好几个客户环境都遇过这种数据,以至于笔者觉得这很“常见”,需要加到测试项目里面。笔者这段时间做的Oracle到ADB同步项目确实遇到这种数据了,后者还造成dts的增量同步中断,风险很高。所幸笔者的dts源端库是基于OGG的目标库部署的,Oracle自己的OGG工具也不能同步这种数据,这间接地挡了这部分异常的增量数据。在此基础上,笔者只需要修复已有的异常数据即可,修复方法也很简单,先+1再-1能修复大部分数据,至于不能修复的只能和业务协商重置一个值了。

异常数值类型,典型例子为NaN(即Not a Number),笔者仅在一个客户环境中遇到,当时的场景为O2O同步 ,比较可怕的是连基本“来者不拒”的数据泵都无法同步这种数据。考虑到这个环境没遇过这种数据,笔者这次偷懒了,没做相应的测试。

六、全量同步测试

通常情况下,各种数据同步软件都会自带全量数据同步的功能,至于这个功能的效率、资源消耗、空间占用等项目需要进行评估。如果其不能满足需求,则可能需要考虑替代的手段。

在选取测试表的时候,笔者考虑综合下面几个因素选择几个测试表:

需要包括大表,大表往往是个瓶颈项;

需要囊括本次同步涉及表的字段类型;

如果环境中存在中文等多字节数据,则建议包含这种表;

建议找静态的表或者准静态进行测试,以方便核对数据一致性。

七、增量同步测试

作为数据同步项目,同步效率是一个重要因素,笔者建议在搭建完整的同步链路之前,拿数据变更频繁的关键表进行测试,通过单表单进程的方式,剔除潜在的配置不当风险。

对于这方面,笔者建议如下:

尽量使用真实的数据;

笔者这次测试通过Ogg同步增量数据,比较切合生产实际变更情况,这种方式可以参考。

增量同步发起后,在目标数据库后台观察对应的SQL语句。以笔者本次项目为例,这个阶段发现了两个问题:

由于大小写敏感问题,dts目标侧未成功识别出主键,导致所有字段被加到where条件,影响效率,此问题后来通过修改同步配置解决。

笔者观察到dts侧虽然设置了高并发度,但实际运行中,仅个别进程工作,其余处于空闲状态,无法充分利用资源。此问题后来通过修改配置参数解决。

八、数据一致性测试

数据一致性又是一个可以另外写一篇文章的话题,对此,笔者建议如下:

对比静态或者准静态的数据。很显然,笔者这次使用的ogg中间库方案很切合这个主题,如果没这个,笔者只能通过停止同步进程后反查其停在哪个点,再用这个时间点做检验了。这个想法理论上可行,然而以笔者对dts的浅薄理解,这条路并不通,原因在于dts所停的时间点并不完全准确。

活用md5函数。大部分正经的数据库均包含内置的md5函数(PS:无意内涵DB2,真不是故意的),这可以将一个复杂的字符串简化,以便用于运算确认两端的数据一致性。

九、软件局限性

“越是漂亮的女人就越会骗人,记住啊!”

“不光是漂亮的女人不能相信,连貌似忠良的男人也不能相信。”

我觉得这段对话充分展示了一个产品的售前与售后的结局——殊途同归。对于售前来说,拼指标、造场景、讲故事等等手段都是为了证明我家产品很棒,快来买买买;就售后而言,找到产品的痛点,予以规避,以达到保证工作顺利开展,避免一口大锅从天而降的目的。大家都是靠博弈而生的,没什么两样,手里的牌均是对技术的了解。

扯远了,回到it项目中,异构数据库的同步往往是逻辑的同步方式,这种方式必然有各种瓶颈的。对售后来说,再怎么谩骂售前“管杀不管埋”也无济于事,最现实的做法莫过于:找到短板,通过改善流程、优化需求甚至协同开发商改造应用的方式保证软件的稳定运行。

这里先讲个故事。Timesten是Oracle的内存数据库,其Cachegroup功能可以实现从物理库(即Oracle DB)到内存库的实时数据同步,而这个同步延迟对业务稳定运行是非常关键的。在实际使用中,运维人员总结出的经验就是得规避大事务变更,最终他们与开发商达成相应的操作规范,无论是业务变更需求也好,数据库运维发起的清理作业也罢,如涉及Timestens同步的表,都得遵循变更量达10w万就得分批提交,每个批次2万条记录,每批次之间sleep 30秒的硬性规定。我觉得这个故事的结局很完满了,真的,要是换成非得揪着Timesten不放,意图纯粹靠软件解决问题的话,那才是妥妥的灾难现场呢,毕竟其基于trigger的同步机制从原理上就对大事务极不友好……

问题来了,如何找到软件的短板呢?

阅读官方文档自然是一个渠道,当然,阅读也是有“技巧” 的 :

我们支持xx指标以内的场景,这句话可以理解为超过这个您就得想想办法了,同时,这个值也许是要打个折的,毕竟环境不一样,存在差异也是很合理的。

我们支持功能a,也支持功能b,这都是实话,至于同时支持功能a和b是您自己认为的,我可没说。

这个嘛,春秋笔法是有的,这种玩法自古就有了。陈寿不也没在《三国志》里面明说司马昭弑君吗,后来大家不都知道了吗?

除了文档以外,我们还可以考虑结合自身经验考虑下述点。

大事务测试

分别对同步范围内外的对象做批量操作,加大数据库日志量,观察其对数据同步以及系统的影响,具体包括cpu、内存、io、空间等资源消耗以及同步延迟等。

以dts为例,源端oracle数据库产生的所有数据均会被拉到dts的库中分析,哪怕这数据与我们的同步策略无关。

目前有个黑名单功能可以绕过这问题。

长事务测试

包含启动增量同步前开启的事务能否正常同步、长时间未提交的事务是否影响同步进程重启等维度。

很明显, 这是被ogg吓到的结果。

频繁事务测试

笔者曾在O2O同步环境中遇到某应用使用了大量with as语法,后者隐式开启了大量的短事务,进而短时间内事务量暴涨,进而 导致同步软件Ogg抽取进程出现延迟。这个问题后来找开发商修改语句就解决了,然而其对笔者的心理阴影一直都在,以至于每遇到一个新场景,均会想想会不会遇到类似的问题。

事务顺序

这个探究的是,软件同步是否能保持事务的顺序,如不能保持,那就得多留个心眼了,这种情况轻则导致同步延迟误判,重则导致旧 数据覆盖新数据,影响数据一致性。

一个简单的测试样例为,创建一个周期性(如每分钟)更新的时间戳表,这个表的记录数与源端Oracle DB的节点数一致。定时脚本依次连接各个实例并以当前时间更新相应的字段,在目标端,我们可以通过查询时间点表观察会不会出现下面两种情况:

后更新的数据是否会先被查询出来;

同步出现延迟的话,时间戳表记录的时间会不会与同步进程的时间戳保持一致。

批量ddl测试

对于基于数据库日志的同步工具,大批量的DDL语句很可能会触发源端解析缓慢的情况,毕竟这涉及与数据字典的交互。

笔者曾遇过某个基于Ogg的O2O同步环境遇到这种瓶颈,而最终的解决方案为调整开发商版本上载的脚本,加大DDL语句之间等待时间间隔。

基于同步原理短板的探究

对于基于rowid的同步方案,没啥好说的,只能从规范上减少move、shrink等改变rowid操作,实在要操作的话,需要重新同步相应的数据。

对于基于主键的同步方案,则重点考虑如何处理无主键表如何处理。

进程重启测试

包含两种场景,正常重启以及异常重启。

异常重启即高可用方面的,具体不展开了;至于正常重启的话,需要观察进程的一些自定义参数会不会被重置。

作者介绍

黎君原,新炬网络架构师。

 

华为云 异构数据迁移 可将源数据库中的DDL、DML和DCL一键自动转换为华为云GaussDB/RDS的SQL语法,通过数据库评估、对象迁移两大核心功能和自动化语法转换,提前识别可能存在的改造工作、提高转化率、最大化降低用户数据库迁移成本。实现异构数据库数据在线搬迁,可以形成完整的平滑异构数据库端到端搬迁方案,实现主流商用数据库到华为云数据库的自动化迁移,助力用户轻松实现一键上云、一键切换数据库的目的。对于迁移方案来说,将存储过程、函数较复杂的异构数据库上云,UGO+DRS会是一个完整的闭环方案,建议同时使用。 阅读详情

相关推荐

高效异构数据库数据迁移与管理工具的探索

在当今的IT环境中,异构数据库导入导出工具已经成为了数据迁移和集成不可或缺的组成部分。这些工具不仅简化了从一个数据库系统到另一个数据库系统的数据转移过程,而且支持了多种不同数据库类型之间的数据转换和同步。随着大数据、云计算和物联网的发展,异构数据库的需求日益增长,这类工具的普及和重要性也随之增加。异构数据库导入导出工具指的是那些能够将数据从一个数据库管理系统(DBMS)导出,并且导入到另一个不同DBMS的软件。

weixin_35815766的博客 1108

数据迁移时在数据库遇到的坑爹问题

数据库遇到的坑爹问题 最近做系统省级,对旧数据库数据进行新旧替换和迁移数据操作,发现的一些坑爹问题,做出些总结 数据库数据迁移,涉及mysql、Oracle数据库; 问题如下: 1,Oracle中不识别’’;空串必须在引号中间加空格’ ‘;另外不等于空串可写成:!=’ ’ 或者 <>‘ ’; 2,Oracle中select复杂的查询语句带的, 必须加表的别名,否则会报错;很坑的,明明只...

qq_39529663的博客 1044

LabVIEW与三菱PLC通讯实战:ActiveX控件在FX5U上的应用技巧

本文深入探讨了如何利用三菱MX Component中的ActiveX控件,在LabVIEW中实现与FX5U系列PLC的高效、稳定通讯。文章从环境配置、ActiveX控件生命周期管理、数据读写性能优化及容错机制等实战角度,分享了构建工业级健壮通讯程序的核心技巧与架构设计思路。

qsc9012345的博客 891

不同数据库之间的数据迁移方案设计及迁移工具选择

以前的工作迁移过oracle到Informix、oracle和SQLSERVER、oracle到mysql。 在目前的公司又因为去o的关系,做了大量的迁移工作,栽了不少坑,所以和大家交流一下在迁移的过程中的一些实践。 因为成本预算等多方面的原因,公司决定要去o,在去o之前首先要决定拿什么来替代oracle,拿什么工具将源数据库的数据导到目标数据库,怎么导,等等的问题。导的过程的增量数据怎么处

孤城烟雨话凄凉 3万+

YOLOv8 ultralytics使用笔记----labelme标记数据,训练模型、追踪目标。

Ultralytics是一个Python库,它是为执行高级计算机视觉任务而创建的,如对象检测、实例分割、图像分类等。Ultralytics为YOLO模型发布了一个全新的存储库,它被构建为用于机器视觉统一框架。这里先利用,并激活。

qq_48050838的博客 1万+

深入解析CRC16查表法:从原理到Modbus协议实践

本文深入解析了CRC16查表法的核心原理与实现,重点阐述了其“空间换时间”的优化思想。通过对比直接计算法,详细说明了查表法如何通过预计算表格将计算速度提升数十倍,并提供了完整的Modbus CRC16查表法代码生成、解析及实战避坑指南,帮助开发者在嵌入式及工业通信场景中高效实现可靠的数据校验。

weixin_29166013的博客 558

手搭手Mybatis-Plus多数据源异构数据迁移案例

手搭手Mybatis-Plus多数据源异构数据迁移案例(oracle迁移至dm8,mysql迁移至dm8)

weixin_47268883的博客 975

【云迁移工具RDA】迁移常见问题

Agent无法正常启动,Linux系统提示“SMS.0201 Failed to start sms agent!”,Windows系统提示“SMS.0201 源端主机网络繁忙,无法连接api网关”。该问题通常是由于源端没有通公网,或者没有按照要求配置hosts,无法与iam或者sms通信导致。需要排查源端网络。1.登录源端服务器。2.检查源端是否能正常访问互联网,若无法访问,请处理后重新启动Agent。可参考弹性公网IP Ping不通检查源端的DNS,防火墙,安全组、本地网络等。

2404_89358774的博客 1487

第一章 绪论

《数据库系统概论》第五版复习,使用命令行提示符,Navicat Premium实验

weixin_60925698的博客 927

VBA常见错误 - “错误3706,未找到提供程序,该程序可能未正确安装”解决方法

1、问题描述 在利用VBA编程时,引用其它表格数据,出现以下问题: (1)运行“错误3706,未找到提供程序,该程序可能未正确安装”。 (2)引用数据失败 2、解决方法 下载“Access 2010 数据库引擎”,并安装即可。 https://www.microsoft.com/en-us/download/details.aspx?id=54920 AccessDatabaseEngine 2010 官方安装包,官网下载不了的可以来这里下载。(1)运行“错误3706,未找到提..

Nemuel的博客 3万+

面试问题总结——关于YOLO系列(三)

接着上篇的的YOLO系列面试问题总结,加油,冲! 三.YOLOv3 1.YOLOv3主干网络BackBone——Darknet-53网络结构(因为有53个卷积层) (原论文中Darknet53的尺寸是在图片分类训练集上训练的,所以输入的图像尺寸是256x256,而在YOLOv3中输入尺寸是416×416)   ①上图中,Top-1 Accuracy和Top-5 Accuracy是指什么呢?区别在哪呢?   我们知道ImageNet有大概1000个分类,而模型预测某张图片时,会给出1000个按概率从高.

boss-dog 1万+

异构数据库迁移埋下的 9 个大坑,你怎么还不会躲开?

作者介绍黎君原,新炬网络架构师。“贰过”,重犯同一过失的意思,语出《论语》,完整句子为“不迁怒不贰过”,乃仲尼对其不幸早逝的弟子颜回的极高评价。就it项目而言,从管理者的角度来说,一个错误...

杨建荣的学习笔记 1019

微信小程序数据采集实战:抓包+接口分析+动态数据全流程

微信小程序爬虫虽然比普通网页爬虫复杂,但只要掌握了正确的方法,其实并没有想象中那么难。核心思路就是:先绕过证书校验抓包,然后反编译小程序找到加密逻辑,最后用Python模拟相同的加密和解密过程。需要特别提醒的是,本文仅供技术研究使用。请遵守《网络安全法》和相关法律法规,不要爬取他人的敏感数据,不要将爬虫技术用于非法用途。尊重他人的知识产权和数据安全,才能让技术发挥真正的价值。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1096

【达梦数据库】异构数据库迁移到达梦

因为数据迁移涉及到很多东西,最主要的还是参考官方给出的文档:https://eco.dameng.com/document/dm/zh-cn/start/oracle_dm.html。 以下是根据项目经验做的一些总结:迁移统计 初始化达梦数据库 创建和源库一样的用户,指定默认表空间 2、正式迁移 迁移原则: 3、问题处理 3.1、return附近出现错误 迁移报错,查看原因:return附近出现错误。DTS工具找到目的库源SQL: 3.1.2、问题原因 SQL【select 1 from dual retu

weixin_47686079的博客 2484

华为OD机试真题 新系统【小学英语老师批改作文】

华为OD机试 新系统真题【小学英语老师批改作文】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题【小学英语老师批改作文】

qq_45776114的博客 927

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

分布式数据库

同构和异构数据库 同构分布式数据库:所有站点都使用共同的数据库管理系统软件,它们彼此了解,合作处理用户的需求。本地的站点放弃了作为其自治权一部分的更改模式或者数据库管理系统软件的权利。 异构分布式数据库:不同的站点具有不同的模式和不同的数据库管理系统软件。站点之间并不了解,在事务处理过程中,它们仅仅为合作提供有限的功能。模式的差别经常是查询处理中的主要问题,软件的差别成为访问多站...

duoerbasilu 601

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

异构数据库迁移的曲折之路

随着近些年来数据库的变化,正有越来越多的企业面临将传统数据库迁移到开源或新型商业产品上。在这一过程中,会面临诸多问题。这里就将常见的一些问题整理出来,希望能够在数据库选型及评估数据库迁移风...

杨建荣的学习笔记 1355

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

117.数据异构方案

何谓数据异构:把数据按需(数据结构、存取方式、存取形式)异地构建存储。比如我们将DB里面的数据持久化到Redis或者ES里面去,就是一种数据异构的方式。常见应用场景分库分表中有一个最为常见的场景,为了提升数据库的查询能力,我们都会对数据库做分库分表操作。比如订单库,开始的时候我们是按照订单ID作为分片键去分库分表,后来的业务需求想按照商家维度去查询,比如想查询某一个商家下的所有订单,就非常麻烦。异构维度数据异构总结起来大概有以下几种场景数据库镜像(DB→DB)数据库实时备份。

YouMing_Li的博客 2012

多源异构数据库实时同步解决方案

1 需求概述 将企业多个业务系统产生的交易数据流实时同步到数据仓库或大数据平台,通过对交易数据的联机实时分析,快速制定或调整商业计划,提升企业的核心竞争力。 需求关键点:同步过程不可影响或中断业务系统正常运行、同步延时3级以内。 2 技术原理 采用灵蜂数据集成软件BeeDI在异构库间进行实时数据同步,通过ETL全量同步历史数据,通过日志解析方式实时同步增量数据,BeeDI提供Oracle、SQL Server、M.

wahahaman的博客 8081

异构数据库10T数据迁移方案

一、DB2迁移到ORACLE,同表10亿数据量的迁移方案 1、选择一个中间存储服务器,同时安装db2客户端,oracle客户端,本次试验没有中间服务器,生成文件直接在db2数据库服务器上生成,导入文件也是直接在oracle数据库上导入。生成采用db2的export命令,边查询边压缩的方式生成文件。导入采用oracle的sqlldr命令,边压缩边导入。原因是生产拿给你做中间临时存储的空间只能几百G,...

u013326684的博客 2223

什么是异构数据库

异构数据库(HDB Heterogeneous DataBase)是多个数据库系统的集合,可以实现不同数据库之间数据的共享和透明访问。异构数据库中的每个数据库都拥有自己的DMBS,在实现数据共享的同时,仍保有自己的应用特性、完整性控制和安全性控制。异构数据库系统的异构性主要体现在以下几个方面: 1.计算机体系结构的异构——各个参与的数据库可以分别运行在大型机、小...

weixin_33730836的博客 3355

【业务功能篇67】异构数据源表结构迁移

业务涉及到需要将数据库迁移,并且还换了不同厂商的,比如Oracle 迁移到 Mysql,

studyday1的博客 574

异构数据库同步方案

除用于双活容灾外,凭借异构(主从库不同类型、主从对象不同属主模式)数据处理能力,也可应用于数据同步、数据迁移及数据汇聚项目,在同类或异类库间同步数据,目标数据可选择与源端不同的属主模式存储

wahahaman的博客 1万+

数据异构的武器-BINLOG+MQ

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34101229的博客 607

数据库内核讲解-(一)数据库系统概述

数据库系统概述 本章将分为以下几个部分来讲诉: 目录)数据库系统概述数据库系统的一些基本概念数据库系统的一些实现问题数据库系统的一些设计问题数据库系统的一些存取问题 数据库系统的一些基本概念 下面用问题的形式来回答一下一些数据库基本概念的定义: 什么是数据? 按照百度百科的词条定义: 数据就是数值,也就是我们通过观察、实验或计算得出的结果。数据有很多种,最简单的就是数字。数据也可以是文字、图像、声音等。数据可以用于科学研究、设计、查证、数学等。 但在研究中的数据定义会更加宽泛,数据是:人们用来反映客

qq_34364255的博客 6132

异构数据库转换工具体验:将SQLServer数据转换迁移到MySQL

想将一个线上数据库从 SQLServer 转换迁移到 MySQL ,数据表70多张,数据量不大。从网上看很多推荐使用 SQLyog ,还有 Oracle MySQL Server 官方的 Workbeach 来做迁移,但是步骤稍显繁琐;后来从一篇文章的某个角落中发现了 DB2DB 这个工具,出自于米软科技。 从软件功能上看,当前版本 1.30.107 支持 SQLServer , MySQL , SQLite , Access , SQLServer CE , PostgreSQL 等6种数据库的互相迁移。

Heartsuit的博客 3957
上一篇: 阿里达摩院发布AI Earth:集成PB级数据 更高效了解地球
下一篇: UL -758_2022电器布线电线电缆安全标准,刚刚发行最新版
普通网友
博客等级 码龄5年 181粉丝 250原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值