关于unbuntu启动hadoop时报错org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block的解决方案

小李汶子

已于 2023-03-08 12:02:31 修改

阅读量2.3k

点赞数 1

文章标签： hadoop hdfs 大数据

于 2023-03-08 11:55:00 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_53019598/article/details/129399328

版权

在虚拟机上安装Hadoop 3.1.3并运行HDFS时遇到BlockMissingException错误。通过初步检查受损模块，进一步检查所有受损block，并使用特定命令删除损坏的block，成功解决了启动HDFS时的异常问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

关于unbuntu启动hbase时报错org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block的解决方案

背景
报错情况
解决

背景

虚拟机安装 Hadoop 3.1.3，并运行了 HDFS
将网上查询到的资料的所有解决方法都试了一遍，下面这个解决方案成功解决了我的问题。

报错情况

启动HDFS后，执行统计词频实例wordcount时，显示Block受损。

异常信息

Error: java.io.IOException: org.apache.hadoop.hdfs.CannotObtainBlockLengthException: Cannot obtain block length for LocatedBlock{
   BP-1982579562-192.168.xxx.32-1629880080614:blk_1083851475_10110700; getBlockSize()=29733; corrupt=false; offset=0; locs=[DatanodeInfoWithStorage[192.168.114.33:50010,DS-c7e1e9b5-cea8-43cb-87a4-f429602b0e03,DISK], DatanodeInfoWithStorage[192.168.114.35:50010,DS-79ec8e0d-bb51-4779-aee8-53d8a98809d6,DISK], DatanodeInfoWithStorage[192.168.114.32:50010,DS-cf7e207c-0e1d-4b65-87f7-608450271039,DISK]]} of /log_collection/ods/ods_xxxx_log/dt=2021-11-24/log.1637744364144.lzo at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderCreationException(HiveIOExceptionHandlerChain.java:97) at org.apache.hadoop.hive.io.HiveIOExceptionHandle