tomalun的专栏

sqoop有两个版本：sqoop1和sqoop2，sqoop2功能比sqoop强一些，但sqoop2产品不成熟，不适合生产环境使用，且CDH和Ambari HDP都默认集成sqoop1，所以不考虑sqoop2。 本文仅比较kettle和sqoop1： 对比项 Kettle Sqoop1 适用场景 数据ETL，简单或复杂的数据抽取、数据转换、数据清洗、数据过滤、数据同步。 ...

一、同步性能测试 1、测试环境信息 kettle：版本8.2，carte独立部署，内存参数-Xms1024m -Xmx4096m mysql数据库：8核CPU，CPU主频2.20GHz，16G内存，版本号5.7.25 大数据环境采用CDH，包含HDFS、hive等组件 CDH集群服务器（共4台）：8核CPU，CPU主频2.20GHz，16G内存，CDH版本5.14.4 2、性能测试结果...