Error: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-965200530-172.21.

博客记录了一次Hadoop集群中因datanode节点故障导致的数据获取失败问题。通过检查配置文件发现副本因子设置为2,而在三个datanode中有两个已死,导致数据不可用。重启节点后问题得到解决。

错误很明显无法获得BP-965200530-172.21.3.170-1400216975207:blk_-1762002543329523353_80392 file=/user/bdsdata/.staging/job_1406698610363_0394/job.split

的数据,然后节点监控页面发现datanode已经死了两个(本来有三个datanode两个namenode),然后看了下hdfs-site.xml发现replication的值为2,可见是由于节点坏死导致无法获取数据,重启死掉的节点问题解决,当然也有可能是datanode的通信出现问题,但可能性比较小。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值