本文介绍了KDB数据库的数据加载工具kdloader，通过测试环境展示了如何优化加载性能。最佳实践包括使用直接路径加载，拆分大文件并行加载，调整bindsize等，实现了显著的速度提升。注意，表上有索引时不能使用并行直接路径加载，且数据文件列分割需避免双引号。
KDB快速加载文本数据方式
kdloader介绍
kdLoader 是 K-DB 数据库提供的数据加载工具。只需要创建保存数据的文本文件，从文本文件中导入数据到数据库。可轻松的将大量数据批量载入 K-DB 数据库。
kdloader最佳性能实践
测试环境信息
ENV： 2 + 3
DISK: PCIE SSD
CPU: Intel® Xeon® CPU E5-2680 v4 @ 2.40GHz 56cores
机器： NF5280M4
测试表/rows/大小: account / 5725269 / 4G /
测试步骤
- 普通加载，日志产生量为4.2G， 耗时33min
kdloader userid=test/test control=ACCOUNT.ctl log=account1.log
- 设置表不记录redo，日志产生量为4.2G。 耗时33min，无效果
alter table account nologging;
kdloader userid=test/test control=ACCOUNT.ctl log=account2.log
- 调整bindsize, 从65536 改为最大值10485760，日志产生量为3.3.G。 耗时6min， 提高了5倍加载速度
kdloader errors=500 bindsize=10485760 userid
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
