【问题描述】
sdbimprt工具数据导入性能如何,能否提供性能测试报告?
广东省农信运维人员比较关心以下情况:
如:3年的数据有1000w条记录,每条记录约100kb,导入的集合是多维分区表,范围切分以时间作为切分字段,一年一个集合,hash切分则以"_id"切分,将1000W的数据导入到该集合中需要多长的时间?
【问题回复】
- 导入工具在多个局点都有使用,目前(v3.0.1)还没有人反映过性能存在问题。
- 导入工具支持多线程导入。同时,也可以同时在多个机器上同时使用导入工
具一起工作。基本上,导入工具很容易就能将千兆网卡(128M/s)打满。
3. 该用户关心的场景我们无法准确估计导入需要多长时间。如果能把千兆网网卡打满,估计时间为1000w*100KB/128M=781.25s。实际情况需要根据用户的设备等情况决定。
本文探讨了sdbimprt工具的数据导入性能,并通过具体案例估算导入1000万条记录所需时间。该工具支持多线程及并行处理,能有效利用网络资源。
8915

被折叠的 条评论
为什么被折叠?



