hadoop集群：关于Could not obtain block:报错问题

最新推荐文章于 2023-03-08 11:55:00 发布

原创最新推荐文章于 2023-03-08 11:55:00 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hdfs

大数据专栏收录该内容

13 篇文章

订阅专栏

本文详细介绍了如何处理Hadoop集群中ResourceManager遇到的Couldnotobtainblock:file=...错误，包括通过hdfsfsck检查并修复Mission数据块，以及执行hdfsfsck-delete操作。适合Hadoop管理员和开发者解决这类常见问题。

resourcemanager报

Could not obtain block:  file=/rmstate/FSRMStateRoot/EpochNode

解决

#执行hdfs fsck 查看Mission的数据块
#hdfs fsck -delete 删除受损的数据块

hdfs fsck /rmstate
hdfs fsck -delete /rmstate

hadoop集群：关于Could not obtain block:报错问题

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

苹榆枫

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

hbase报错： org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block

u012447842的博客

01-20

3244

2020-01-19 16:37:05,531 INFO [mg011.tigard.com,6000,1579413911172_ChoreService_1] hdfs.DFSClient: Could not obtain BP-266398130-10.186.59.129-1574389974472:blk_1082979077_9238392 from any node: java....

MapReduce任务报 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block:

03-26

1269

1. 执行任务前，在shell脚本里已删除损坏的块 ./hdfs fsck /.../ -delete 任务仍然失败了，报这个异常。检查块还是健康的 ./hdfs fsck /.../ -files 2. 通信问题可能导致这个异常追根溯源 package org.apache.hadoop.hdfs; package org.apache.hadoop.hdfs; ...

参与评论您还未登录，请先登录后发表或查看评论

外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block

01-09

1、遇到问题今天使用自己的电脑，使用外网操作阿里云服务器上的HDFS。报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果参考 https://blog.youkuaiyun.com/xiaozhaoshigedasb/article/details/88999595 防火墙记得关掉；查看DataNode是否启动；有些数据块是损坏了，可以命令查看阿里云防火墙已经关闭了使用 jps 查看本地本地 datanode 启动没问题使用 hadoop fsck /weblog/log.

[解决方案]org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block

weixin_45212094的博客

04-14

7547

[解决方案]org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block...报错情况查看受损block有可能当前路径下的受损block不止一个删除损坏的block 报错情况 Caused by: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: xxxxxxxxxxxxxxxxxxxx file=/p

记录执行hivesql时报org.apache.hadoop.hdfs.BlockMissingException:Could not obtain block错误

FunnyPrince_的博客

10-20

2763

在执行hive sql时明明已经插入了数据，可是过了一会儿查询的时候数据表为空，而且报以下错误，以前也经常遇到，搞得我一直重新插入数据反反复复，今天终于找到了root cause⬇️ ⚠️报错： org.apache.hadoop.hdfs.BlockMissingException:Could not obtain block: BP-1094756810-192.168.10.102-1623427145615:blk_1073755935_15114 file=/warehouse/gmall/ads

org.apache.hadoop.hdfs.blockmissingexception: could not obtain block

04-30

org.apache.hadoop.hdfs.blockmissingexception: could not obtain block 是 Hadoop 中一个常见的错误信息。它通常出现在 Hadoop 分布式文件系统中，表示尝试读取一个未正确写入或丢失的数据块，而无法获取该数据块...

定位hdfs文件块异常和修复org.apache.hadoop.hdfs.CannotObtainBlockLengthException Cannot obtain block length for

weixin_52918377的博客

11-25

2140

hadoop定位hdfs文件块异常和修复org.apache.hadoop.hdfs.CannotObtainBlockLengthException: Cannot obtain block length for LocatedBlock 一、问题重启hadoop集群之后,执行任务时发生异常异常信息 Error: java.io.IOException: org.apache.hadoop.hdfs.CannotObtainBlockLengthException: Cannot obtain bl

java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1059379150-192.168.222.128-1741842139806:blk_1073743638_2814 file=/path/to/customer_details/customer_details.csv No live nodes contain current block Block locations: Dead nodes: org.apache.hadoop.hdfs.BlockMissingException:Could not obtain block: BP-1059379150-192.168.222.128-1741842139806:blk_1073743638_2814 file=/path/to/customer_details/customer_details.csv No live nodes contain current block Block locations: Dead nodes: 详细信息

热门推荐

yonghutwo的专栏

10-09

3万+

跑hive脚本也就是mr程序时遇到以下错误： Ended Job = job_1406698610363_0394 with errors Error during job, obtaining debugging information... Examining task ID: task_1406698610363_0394_m_000014 (and more) from job jo

org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block

qq_45494908的博客

01-11

4364

使用IDEA 编译Hive源码。启动Hive，并查询数据时报错： Failed with exception java.io.IOException:org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-533367018-172.16.69.205-1640615257526:blk_1073741857_1033 file=/user/hive/warehouse/my_db.db/emp_hive/emp

java.io.IOException: Could not obtain block: blk

豹先生

08-11

4160

联系两个晚上跑数据出现这个异常，具体内容如下： 2011-08-10 05:51:21,823 ERRORorg.apache.hadoop.hbase.regionserver.CompactSplitThread: Compaction/Splitfailed for

hive 0.12读取textfile函数调用栈

vah101的专栏

03-07

1345

at org.apache.hadoop.util.LineReader.readLine(LineReader.java:123) at org.apache.hadoop.mapred.LineRecordReader.next(LineRecordReader.java:140) at org.apache.hadoop.mapred.LineRecordReader.next(Line

org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1421546975-192.168.216.200-

Yuki的博客

06-13

1万+

这个错误就是NN与DN失联了，我的报错是在下载HDFS上的文件时报的错我的解决办法是停掉集群重新启动再次执行命令正常我这个一个是伪集群，如果全分布式的话有的结点DN起不来，那么就需要将所有结点下的/var/abc文件夹干掉，并重新 hdfs namenode -format 格式化 ...

（转）Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block:

小蚯蚓的博客

02-22

1388

【转载原因：hive中查询时报错，同样错误。然后，经确认确实是datanode宕掉了。】【转载原文：https://blog.youkuaiyun.com/abc_123_abc_123_/article/details/103087254】 hadoop 报错： Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1020558569-1xx.1xx.xx.x

java.io.IOException: Could not obtain block

09-08

940

前段时间在单机redhat上配置好了hadoop环境，今天运行wordcount例子时出现了无法获取in目录中到文件问题，不知道是否是权限问题，错误原因如下 [hadoop@lee hadoop-1.0.4]$ bin/ hadoop jar hadoop-examples-1.0.4...

关于unbuntu启动hadoop时报错org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block的解决方案

weixin_53019598的博客

03-08

2464

仅记录，新手有误轻喷。