java 迁移百万条数据_数据库快速迁移10亿级数据

最新推荐文章于 2025-04-29 01:18:25 发布
最新推荐文章于 2025-04-29 01:18:25 发布
阅读量1.6k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
文章标签： java 迁移百万条数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_34768234/article/details/115080911
本文讲述了如何高效地迁移超过21亿条数据的Java数据库，通过分析业务需求和数据库结构，提出改进的传统做法，包括按聚集索引分页查询、批量插入和删除，实现数据迁移的加速。最终实现在1分钟内迁移191万多条数据，平均每秒3万条。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

数据库快速迁移10亿级数据

菜菜呀，咱们业务BJKJ有个表数据需要做迁移

d64c2fa34716fa9916d1150fa384967f.png程序员主力 Y总633095b85b26b3fd5b9d85bec1bc68c4.png

现在有多少数据？

22c1e7f6e67b162425e61986d325e3a2.png菜菜

3f708a61acca7baa6ca2448c640fa556.png

大约21亿吧，2017年以前的数据没有业务意义了，给你半天时间把这个事搞定，绩效给你A

90b2ae4cf9e9496c5cd9e6cade7fd386.png程序员主力 Y总775c7e17ebc698278aaf84d6edffdcc3.png

有绩效奖金吗？

49d4c1132363841222103c58d3d62d41.png菜菜

4cff007f928cb6da8d1a0bb6c1a2c110.png

钱的事你去问X总，我当家不管钱

30618315348291d320b752ecdd9f732a.png程序员主力 Y总a23951bc3172e6623cbe581e8c730973.png

...........

2f2b2cbfc4e93942fb2dd4866cc11750.png菜菜

5d7545f69e4a60d5ae157de78cd93123.png问题分析

经过几分钟的排查，数据库情况如下：

731346bd3387c710aef1d95dbfd7663e.png1. 数据库采用Sqlserver 2008 R2，单表数据量21亿

最低0.47元/天 解锁文章

200万优质内容无限畅学
amulee998
关注
5步破解数据迁移冲突！Java如何让20亿条数据‘永不打架’？双写魔法 vs 乐观锁超能力，你敢不敢试试？
java专栏
05-08 917
🔥关注墨瑾轩，带你探索编程的奥秘！🚀🔥超萌技术攻略，轻松晋级编程高手🚀🔥技术宝库已备好，就等你来挖掘🚀🔥订阅墨瑾轩，智趣学习不孤单🚀🔥即刻启航，编程之旅更有趣🚀。
Java系统数据迁移终极指南：百万级数据秒级迁移实战
最新发布
墨夶的博客
05-03 986
场景最佳实践代码示例大数据量迁移分页+批处理+多线程故障恢复检查点+熔断+重试分布式系统分片+ZooKeeper事务实时同步Kafka+数据库变更捕获。
MySQL数据库迁移快速导出导入大量数据
01-19
数据库迁移是我们经常可遇到的问题，对于少量的数据，迁移基本上不会有什么问题。生产环境中，有以下情况需要做迁移工作： 磁盘空间不够。比如一些老项目，选用的机型并不一定适用于数据库。随着时间的推移，硬盘很有可能出现短缺； 业务出现瓶颈。比如项目中采用单机承担所有的读写业务，业务压力增大，不堪重负。如果 IO 压力在可接受的范围，会采用读写分离方案； 机器出现瓶颈。机器出现瓶颈主要在磁盘 IO 能力、内存、CPU，此时除了针对瓶颈做一些优化以外，选择迁移是不错的方案； 项目改造。某些项目的数据库存在跨机房的情况，可能会在不同机房中增加节点，或者把机器从一个机房迁移到另一个机房。再比如
万亿级数据应该怎么迁移？
lizhao007
10-23 463
之前写过一篇文章:binlog还能这么用之Canal篇，在里面介绍了一些增量数据迁移的一些方法，但是对于整体的数据的迁移介绍得不是很深，这里想对迁移数据整体做一个介绍，希望能帮助到大家。...
java实现亿级数据迁移
zpyyds__的博客
02-22 1375
java自研数据迁移源码分享
JAVA面试题分享二百六十二：100亿级分库分表，不停机迁移，如何处理？
之乎者也·的博客
12-16 1696
周期很长：整个迁移过程从方案制定到最终的迁移完成持续约一个多月时间，最终完成迁移。方案可靠：无论是利用数据库工具还是利用服务对数据进行迁移，目标都是一致的那就是数据无差异，用户无感知，异常可监控，方案可回滚。充分演练：在迁移前尽可能进行演练，通过一些测试编写的自动化脚本能否高效发现一些潜在的问题。尽早迁移：同时存储是有状态的，迁移难度比较大，开发者需要具备前瞻性，尽量在选型的时候慎重，选择合适的数据库，避免进行数据库迁移。发现数据库选型有潜在的问题时，需要当机立断，尽早迁移。
mysql大量数据迁移（内含mysql表空间的介绍）
S_ZaiJiangHu的博客
04-29 477
要看量有多大、业务是否可以暂停迁移 等这个过程可以用于数据备份、数据迁移、数据整合等多种场景。
MySQL该如何将月增上亿条数据的单表处理方案优雅落地？
Java技术攻略的博客
03-14 1670
看到这里，对于库内分表篇的内容也接近了尾声，有小伙伴也许会疑惑：那如果我每月的数据量更大怎么办呢？比如前面的例子中，如果再投入了多批机器怎么办？每月的数据量达到甚至上亿怎么办？如若你存在这块的顾虑，其实大可不必担心，因为咱们既然可以按月分表，那能否按半月为周期分表呢？能否按星期分表呢？能否以三天、一天为一个维度分表呢？答案显然是可以的，所以数据量无论有多大，都可能按不同的周期来划分表。
分库分表 & 数据迁移方案
08-08 477
不管是IO瓶颈，还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。 1、IO瓶颈 第一种：磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询时会产生大量的IO，降低查询速度 -> 分库和垂直分表 。 第二种：网络IO瓶颈，请求的数据太多，网络带宽不够 -> 分库 。 2、CPU瓶颈 第一种：SQL问题，如SQL中包含join，group by，order by，非索引字段条件查询等，增加CPU运算的操作 -> SQL优化，建立合适的索引
如何高效把百万数据从MySQL导入redis
weixin_43401755的博客
03-10 3754
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、启动redis二、通过pipe管道传输，将mysql中的数据转入redis1、创建表（示例）：2、存储过程插入百万数据3、编写脚本4、执行脚本把MySQL数据导入redis5、测试 前言 使用管道pipe高效地把mysql同步数据到redis中去。下面试windows下的玩法 一、启动redis windows环境下用以下命令写一个启动redis服务的快捷程序 ：redis-server.bat @echo off ti.
java在处理大数据的时候一些小技巧
iteye_14356的博客
07-06 711
众所周知，java在处理数据量比较大的时候，加载到内存必然会导致内存溢出，而在一些数据处理中我们不得不去处理海量数据，在做数据处理中，我们常见的手段是分解，压缩，并行，临时文件等方法； 例如，我们要将数据库（不论是什么数据库）的数据导出到一个文件，一般是Excel或文本格式的CSV；对于Excel来讲，对于POI和JXL的接口，你很多时候没有办法去控制内存什么时候向磁盘写入，很恶心，而且这些...
数据库迁移 数据迁移 千万级 亿万级数据MySQL oracle关系型
11-06
现需要开发一套程序用来快速迁移数据库，要求如下： 1.使用人员可以指定迁移数据库类型 如:(orcal,sqlServer,csv 迁移至mysql) 2.在迁移数据库时，可以只迁移指定字段. 3.开发多任务的平台，按权重去执行任务，如：权重为1,1,2,3,4 那么1,1的权重一起执行，执行完毕后2 然后3 以此类推 4.保护数据完整性，设计失败处理
JDBC实现MYSQL数据库迁徙
12-12
java实现JDBC两个不同的数据库的迁徙，和实现分表数据迁徙。
MySQL 千万级数据迁移
eagle89的专栏
01-04 815
迁移
数据库大数量迁移思路
dzbxq89的博客
03-05 340
数据库： oracle 场景： 从其他表中获取大量数据，补充到表中 使用方法是使用循环方式，将每条数据单独插入，伪代码如下 declare cursor 循环对象 is ( 查询sql ); begin for 单次对象 in 循环对象 loop 修改或插入sql end loop; end; 方式的核心是将数据分条插入，这样可以降低数据库的压力，可以通过每次修改或插入后将数据提交的方式，降低风险。 单次对象相当于数据库中的单行数据，通过单次对象.列名的方...
mysql数据量很大的数据库迁移最优的方案
4G/5G随身WiFi专业DIY改装
03-17 1309
在选择最优方案时，要考虑数据量、网络带宽、迁移时间窗口、可用性要求和数据一致性等因素。在进行迁移之前，务必进行充分的测试和备份，以确保迁移过程的可靠性和成功率。
oracle转存200张表,浅谈oracle数据库怎么高效将大量数据从一张表迁移到另一张表...
weixin_39575775的博客
04-16 518
1.需求将百万级以上的数据从A表迁移到B表里面,B表本来就存在的记录,就做更新操作,B表之前不存在的记录,就做插入操作2.分析首先,一般来说,有些人会在java代码里面实现,先将需要更新和插入的数据分别查询出来,再使用oracle的batchUpdate这个方法,一般来说,这个效率也是不错的,但是,由于oracle数据库的batchUpdate这个批量执行的方法是不会返回执行成功的条数的,由于无法...
datax 整合 java_千万级数据迁移工具DataX实践和geom类型扩展
weixin_33691489的博客
02-24 869
DataX快速入门参考环境要求LinuxJDK(1.8以上，推荐1.8)Python(推荐Python2.6.X)Apache Maven 3.x (Compile DataX)打包mvn -U clean package assembly:assembly -Dmaven.test.skip=true本地idea调用D:pmDataXdatax-coresrcmainjob为测试脚本文件夹1、j...
多线程的方式的将100万条数据，从一个数据库迁移到另一个数据库
qq_25520483的博客
03-22 1860
多线程的方式的将100万条数据，从一个数据库迁移到另一个数据库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值