hadoop 2.4.0 使用distcp有关问题解决

最新推荐文章于 2020-12-30 16:42:56 发布

修鹏李

最新推荐文章于 2020-12-30 16:42:56 发布

阅读量4.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/map_lixiupeng/article/details/27542625

hadoop 专栏收录该内容

6 篇文章

订阅专栏

本文介绍了一个在使用Hadoop DistCp从CDH3集群向CDH4集群迁移数据过程中遇到的CRC校验错误问题及其解决方案。文章详细解释了该问题产生的原因在于两个版本间默认使用的CRC校验类型不一致，并提供了通过修改目标集群HDFS配置文件中校验类型来规避此问题的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop distcp hftp://nn.xxx.xx.com:50070/user/nlp/warehouse/t_m_user_key_action /user/nlp/warehouse/dw1

出现

Caused by: java.io.IOException: Check-sum mismatch between hftp://xxx:50070/foo/yyy.yy and hdfs://dst:8020/foo/xxx.xx

引用

— Distcp using MRv2 (YARN) from a CDH3 cluster to a CDH4 cluster may fail with CRC mismatch errors

Running distcp on a CDH4 YARN cluster with a CDH3 hftp source will fail if the CRC checksum type being used is the CDH4 default (CRC32C). This is because the default checksum type was changed in CDH4 from the CDH3 default of CRC32.

Bug: HADOOP-8060
Severity: Medium
Anticipated Resolution: To be fixed in an upcoming release
Workaround: You can work around this issue by changing the CRC checksum type on the CDH4 cluster to the CDH3 default, CRC32. To do this set dfs.checksum.type to CRC32 in hdfs-site.xml.

在hdfs-site.xml文件里面添加：

<property>
<name>dfs.checksum.type</name>
<value>CRC32</value>
</property>

注意执行命令的集群已经要有另一个集群的所有hosts文件。