Hadoop的DistCp异常处理

CDH4中使用distcp,目前还木有成功,把异常信息记录下

1) Connection Refused
解决:http://wiki.apache.org/hadoop/ConnectionRefused
2)Protocol message end-group tag did not match expected tag
未解决,卡在这了。。。哪位大牛帮助解决下?

折腾了一天,决定搭建两个同版本集群。记录如下:
1)用官方提供的方法执行
$ hadoop distcp hdfs://server86/block/00006DFF hdfs://server93/block/dest
异常:
java.net.ConnectException: Call From server93/*.*.*.93 to server86:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

Connection Refused,查看下8020并没有被占用,可能是端口的问题。试下别的端口(反正不太懂,瞎搞呗。)
2)$hadoop distcp hdfs://server86:50070/block/00006DFF hdfs://server93:49000/block/dest
异常:
java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "server93/*.*.*.93"; destination host is: "ecmserver":50070;
这。。。再改!

3)$ hadoop distcp hftp://server86:50070/block/00006DFF hdfs://server93:49000/block/dest
日志:
13/08/23 11:03:17 INFO mapreduce.Job: map 0% reduce 0%
13/08/23 11:03:29 INFO mapreduce.Job: map 100% reduce 0%
13/08/23 11:04:12 INFO mapreduce.Job: Job job_1377225445725_0001 completed successfully
成功了!兴奋暴走中。。。
【注:】93中block目录必须存在,复制时如不存在会报错地。复制完成后,93上的dest就是86上的00006DFF
问题来了,hftp:// 是跨版本集群之间用的协议,那我这两集群版本相同,那应该可以用hdfs:// 啊。试下

4)$ hadoop distcp hdfs://server86:49000/block/00006DFF hdfs://server93:49000/block/00006DFF
日志:
13/08/23 11:09:36 INFO mapreduce.Job: map 0% reduce 0%
13/08/23 11:09:46 INFO mapreduce.Job: map 100% reduce 0%
13/08/23 11:10:40 INFO mapreduce.Job: Job job_1377225445725_0002 completed successfully
成功了!!兴奋暴走中。。。。。。

5)试完了具体文件,再试下复制目录吧。
$ hadoop distcp hdfs://server86:49000/block/ hdfs://server93:49000/block/
日志不打了。也成功了。86上block目录下所有文件全部被复制到93的block/block下。也就是说把86上的block目录也一并拿过来了。

6)异常情况未测试,待定。。。

【总结:】
复制单个文件3.95G大小 : 1分12秒
复制目录(目录下3个3.95G文件):3分37秒
平均:4M/s
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值