数据复制工具-SQLWorkbench

本文分享了使用SQLWorkbench进行大数据量导入的经验,解决了delphi datapump存在的问题,如数值类型映射困难、导入中断无法续传及速度慢等。通过调整设置,实现了每小时400万条数据的高效导入。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

     最近在测试各种开源数据库的性能,需要导入大容量数据,毕竟很多bench认为造的数据太简单,或者说测试sql语句too simple, 还是需要从真实的系统中导入海量数据。

     一开始用delphi或bcb带的datapump, 勉强可用,但有不少缺点或限制:

     1、数值类型有时不能自动映射

     2、中途万一网络中断,无法追加导入,太浪费时间;

     3、速度不快,也就每小时1千条不到。

      后来发现,java界有个jdbc复制工具叫sql workbench,真实功夫不负有心人啊。但还是有波折,一开始复制没设置好表的主健,无法复制。 后来发现不错:

      1、数据源可以使sql生成的结果集,这样就可以分批导入了。

      2、有批量提交设置,和结果集prefetch数据设置,这样,速度快多了,达到1千条以上,没小时可导400万条数据。

      3、还是java的,可以在x上run.又是开源的,有时间,还可以自己优化。

 

      sqlworkbenche的下载地址如下:http://sql-workbench.net/downloads.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值