【Hadoop-Distcp】通过Distcp的方式进行两个HDFS集群间的数据迁移

1）Distcp 工具简介及参数说明

【Hadoop-Distcp】工具简介及参数说明

2）Shell 脚本

• 应用场景：

  两个实时集群交互数据，A 集群 向 B 集群补充数据。

• 主要说明：

  1、将表名统一放到服务器文本 hotDataTable 中，按照需要将需要补充数据的表放入文本即可。

  2、-i 参数：跳过异常，避免文件迁移过程中出现文件不存在等异常情况出现，异常会中断迁移任务。

  3、-skipcrccheck 参数：跳过 crc 算法校验