Error: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-965200530-172.21.

最新推荐文章于 2023-03-08 11:55:00 发布
原创 最新推荐文章于 2023-03-08 11:55:00 发布 · 6.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#DataNode #hadoop #Block

博客记录了一次Hadoop集群中因datanode节点故障导致的数据获取失败问题。通过检查配置文件发现副本因子设置为2，而在三个datanode中有两个已死，导致数据不可用。重启节点后问题得到解决。

错误很明显无法获得BP-965200530-172.21.3.170-1400216975207:blk_-1762002543329523353_80392 file=/user/bdsdata/.staging/job_1406698610363_0394/job.split

的数据，然后节点监控页面发现datanode已经死了两个（本来有三个datanode两个namenode），然后看了下hdfs-site.xml发现replication的值为2，可见是由于节点坏死导致无法获取数据，重启死掉的节点问题解决，当然也有可能是datanode的通信出现问题，但可能性比较小。

flume系列之：Error while trying to hflushOrSync，查看hdfs生成的文件发现文件损坏
zhengzaifeidelushang的博客
03-30 1955
一、flume完整报错如下所示 flume日志一直报如下错误： 13 Mar 2022 10:45:30,319 ERROR [hdfs-sink1-call-runner-400] (org.apache.flume.sink.hdfs.AbstractHDFSWriter.hflushOrS ync:269) - Error while trying to hflushOrSync! 264 25 Mar 2022 10:45:30,319 WARN [hdfs-sink1-roll-t
hive报错：Call from hostname/127.0.1.1 to localhost:9000 failed on connection exception.主节点9000端口拒绝访问.
九师兄
12-02 5092
1.美图 2.背景 (base) lcc@lcc hadoop-2.7.4$ sh sbin/start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh 19/12/02 11:00:58 WARN util.NativeCodeLoader: Unable to load native-ha...
外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
01-09
1、遇到问题 今天使用自己的电脑，使用外网操作阿里云服务器上的HDFS。 报错  org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 https://blog.csdn.net/xiaozhaoshigedasb/article/details/88999595  防火墙记得关掉； 查看DataNode是否启动； 有些数据块是损坏了，可以命令查看 阿里云防火墙已经关闭了 使用 jps 查看本地本地 datanode 启动没问题 使用 hadoop fsck /weblog/log.
关于unbuntu启动hadoop时报错org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block的解决方案
weixin_53019598的博客
03-08 2406
仅记录，新手有误轻喷。
MapReduce任务报 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block:
03-26 1239
1. 执行任务前，在shell脚本里已删除损坏的块 ./hdfs fsck /.../ -delete 任务仍然失败了，报这个异常。 检查块还是健康的 ./hdfs fsck /.../ -files 2. 通信问题可能导致这个异常 追根溯源 package org.apache.hadoop.hdfs; package org.apache.hadoop.hdfs; ...
[解决方案]org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
weixin_45212094的博客
04-14 7427
[解决方案]org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block...报错情况查看受损block有可能当前路径下的受损block不止一个删除损坏的block 报错情况 Caused by: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: xxxxxxxxxxxxxxxxxxxx file=/p
org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block:
xiaozhaoshigedasb的博客
04-03 8322
防火墙记得关掉； 查看DataNode是否启动； 有些数据块是损坏了，可以命令查看 hadoop fsck <path> 然后可以删除损坏的数据块 hadoop fsck <path> -delete hadoop fsck其他参数解释： <path> start checking from this path -move m...
Hive执行报错CannotObtainBlockLengthException: Cannot obtain block length for LocatedBlock
延宝小白马的博客
03-28 946
报错日志如下： Caused by: org.apache.hadoop.hdfs.CannotObtainBlockLengthException: Cannot obtain block length for LocatedBlock{BP-438308737--1615993069368:blk_1073893685_152906; getBlockSize()=949; corrupt=false; offset=0; locs=[DatanodeInfoWithStorage[:9866,DS
hdfs相关问题及解决方案归档
weixin_44976835的博客
08-26 3072
目录问题1：reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题2：Too many fetch-failures问题3：处理MR速度特别的慢问题4：能够启动datanode，但无法访问，也无法结束问题5：节点断联问题6：JVM内存不够问题7：Hadoop添加节点的方法问题8：给单个node新加硬盘问题9：IO写操作出现问题问题10：HDFS退服节点的方法问题11：IO异常问题12：status of 255 error问题13：sort by value问题14：restar
纯手动搭建大数据集群架构_记录007_搭建Zookeeper3.5.7集群_集群配置_集群脚本---大数据之Hadoop3.x工作笔记0168
添柴程序猿的专栏
02-27 391
机器id,然后 每个机器的conf文件夹,下的zoo.cfg文件中,都要有 server1. server2....这些配置,然后就。去看看配置文件,这里的status,stop,start回车了对吧,我们把他们放到一行里面去,去掉回车。这里要注意,这个时候,要集群中所有的机器,在zkData下面有要有myid文件,并且配置好对应的。hive 集群,hbase集群,spark集群,kettle集群,sqoop集群,都是基础。
（转）Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block:
小蚯蚓的博客
02-22 1358
【转载原因：hive中查询时报错，同样错误。然后，经确认确实是datanode宕掉了。】 【转载原文：https://blog.csdn.net/abc_123_abc_123_/article/details/103087254】 hadoop 报错： Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1020558569-1xx.1xx.xx.x
hive 0.12读取textfile函数调用栈
vah101的专栏
03-07 1330
at org.apache.hadoop.util.LineReader.readLine(LineReader.java:123) at org.apache.hadoop.mapred.LineRecordReader.next(LineRecordReader.java:140) at org.apache.hadoop.mapred.LineRecordReader.next(Line
Hadoop程序运行中的Error(1)-Error: org.apache.hadoop.hdfs.BlockMissingException
萌兔兔MMQ！！
09-14 669
15/03/18 09:59:21 INFO mapreduce.Job: Task Id : attempt_1426641074924_0002_m_000000_2, Status : FAILED Error: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-35642051-192.168.199.91-1419581604721:blk_1073743091_2267 file=/filein/fi
org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1421546975-192.168.216.200-
Yuki的博客
06-13 1万+
这个错误就是NN与DN失联了，我的报错是在下载HDFS上的文件时报的错 我的解决办法是 停掉集群 重新启动 再次执行命令 正常 我这个一个是伪集群，如果全分布式的话有的结点DN起不来，那么就需要将所有结点下的/var/abc文件夹干掉，并重新 hdfs namenode -format 格式化 ...
org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1091099277-192.168.100.251-
weixin_44519124的博客
07-08 4395
org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1091099277-192.168.100.251-1594136610548:blk_1073741848_1024 file=/test/input/wordcount.txt 这个错误就是NN与DN失联了，我的报错是在使用flink读取hdfs路径上文件的时候报的错 这个时候重启hadoop就行 根据依赖关系 可以先关闭依赖...
hbase报错： org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
u012447842的博客
01-20 3220
2020-01-19 16:37:05,531 INFO [mg011.tigard.com,6000,1579413911172_ChoreService_1] hdfs.DFSClient: Could not obtain BP-266398130-10.186.59.129-1574389974472:blk_1082979077_9238392 from any node: java....
Error: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-965200530-172.21.3.1
热门推荐
yonghutwo的专栏
10-09 3万+
跑hive脚本也就是mr程序时遇到以下错误： Ended Job = job_1406698610363_0394 with errors Error during job, obtaining debugging information... Examining task ID: task_1406698610363_0394_m_000014 (and more) from job jo
org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
qq_45494908的博客
01-11 4330
使用IDEA 编译Hive源码。 启动Hive，并查询数据时报错： Failed with exception java.io.IOException:org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-533367018-172.16.69.205-1640615257526:blk_1073741857_1033 file=/user/hive/warehouse/my_db.db/emp_hive/emp
org.apache.hadoop.hdfs.blockmissingexception: could not obtain block
04-30
org.apache.hadoop.hdfs.blockmissingexception: could not obtain block 是 Hadoop 中一个常见的错误信息。它通常出现在 Hadoop 分布式文件系统中，表示尝试读取一个未正确写入或丢失的数据块，而无法获取该数据块。 这个异常的出现原因可能是由于网络故障、硬盘问题或 Hadoop 集群中的其他问题导致的。如果一个数据块出现损坏或丢失的情况，HDFS 需要通过副本来替换丢失的数据块。 解决该异常可以采用以下几种方法： 1.检查网络是否正常。网络故障可能导致数据传输中断，从而导致数据块丢失，这可以通过在可靠的网络条件下运行 Hadoop 集群来解决。 2.检查硬盘是否有问题。硬盘故障可能导致数据块丢失，这可以通过更换硬盘来解决。 3.对于无法修复的丢失数据块，可以使用 Hadoop 集群内以及其他计算机集群内的备份数据块来替换。 总之，org.apache.hadoop.hdfs.blockmissingexception: could not obtain block 的出现表示 Hdfs 分布式文件系统中的一个数据块被丢失或损坏，需要通过硬件、网络等多个方面的检查和修复来解决。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值