ETL工具kettle与datax的对比测试案例之Oracle to Oracle

最新推荐文章于 2025-10-29 10:03:17 发布

原创最新推荐文章于 2025-10-29 10:03:17 发布 · 2.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#ETL #kettle #datax

大数据专栏收录该内容

4 篇文章

订阅专栏

本文通过在相同硬件环境下，使用DataX和Kettle进行全量数据抽取及加载的测试，结果显示DataX在处理600万条、1.12G大小的数据时，比Kettle快36秒，平均流量达8.90MB/s，突显了DataX在大数据处理上的优势。

测试服务器

硬件信息：

[root@catdb ~]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l       
2                                                                              
[root@catdb ~]# cat /proc/cpuinfo| grep "cpu cores"| uniq                      
cpu cores	: 6                                                                  
[root@catdb ~]# cat /proc/cpuinfo| grep "processor"| wc -l                     
12                                                                             
[root@catdb ~]# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c          
     12  Intel(R) Xeon(R) CPU E5-2603 v3 @ 1.60GHz                             
[root@catdb ~]# free -m                                                        
              total        used        free      shared  buff/cache   available
Mem:          15757        5056         938        1206        9762        9047
Swap:         32767        6765       26002

io性能：

[root@catdb bin]# time dd if=/root/ubuntu.tar of=test.file
2553093+0 records in
2553093+0 records out
1307183616 bytes (1.3 GB) copied, 7.89118 s, 166 MB/s

real	0m7.906s
user	0m0.454s
sys	0m5.539s

表信息：

size：    1.12G 

num_rows：6,015,341

columns： 21

测试场景：全量抽取并加载至本库。同时kettle跟datax均在服务器上执行。

测试过程：

kettle的log：

2019/12/20 11:02:44 - Spoon - Transformation opened.
2019/12/20 11:02:44 - Spoon - Launching transformation [rcattest01]...
2019/12/20 11:02:44 - Spoon - Started the transformation execution.

  .........

2019/12/20 11:05:33 - 表输入.0 - Finished reading query, closing connection.
2019/12/20 11:05:33 - 表输入.0 - Finished processing (I=6015341, O=0, R=0, W=6015341, U=0, E=0)
2019/12/20 11:05:33 - 表输出.0 - Finished processing (I=0, O=6015341, R=6015341, W=6015341, U=0, E=0)
2019/12/20 11:05:33 - Spoon - The transformation has finished!!



dataxde的log: 

  .........

2019-12-20 11:19:24.851 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2019-12-20 11:17:13
任务结束时刻                    : 2019-12-20 11:19:24
任务总计耗时                    :                131s
任务平均流量                    :            8.90MB/s
记录写入速度                    :          46271rec/s
读出记录总数                    :             6015341
读写失败总数                    :                   0

测试结果：

kettle耗时167秒 VS datax耗时131秒。

600万条总计1.12G大小的表，datax比kettle快36秒。