hadoop异常处理--namenode抛出missing blocks

最新推荐文章于 2025-11-08 16:58:11 发布
原创 最新推荐文章于 2025-11-08 16:58:11 发布 · 5.9k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#namenode #hadoop #hdfs #异常 #数据

本文介绍了解决 HDFS 上出现 missingblocks 的方法。missingblocks 指的是 HDFS 中完全丢失的数据块，通常无法通过复制恢复。文章提供了一个实用的命令 hadoop fsck / -delete 来清理这些丢失的数据块。

异常描述

missing blocks


解决方案

hadoop fsck -delete 可以移除 missing block


missing block的意思是hdfs上的块不存在了，并不是少于3份，很难恢复，建议升级机器时，同时停机不超过两台，不要问为什么，说多了都是泪。。。。

hadoop配置文件详解系列（一）-core-site.xml篇
关于代码的那些事
03-09 8954
导读：关于hadoop的配置文件，目前其它网站资料中都是只写了几个常用的属性配置，但平时可能也会用到其它属性，这里就一起写出来，供大家参考。本篇先从core-site.xml开始，后续将继续进行其它配置文件的梳理。 属性名称 属性值 描述 hadoop.common.configuration.version 0.23.0 配置文件的版本。 hadoop.tmp.dir /tmp/hadoop-${user.name}
Hadoop故障排查指南：常见错误及解决方案
2501_92132293的博客
09-06 1014
HDFS核心指标块状态：Under-replicated、Over-replicated、Missing、Corrupt安全模式（Safe Mode）：NameNode启动或块损坏时的只读状态副本因子（Replication Factor）：数据块的副本数量配置块报告（Block Report）：DataNode定期向NameNode发送的块状态报告心跳（Heartbeat）：DataNode/NodeManager向主节点的存活报告（默认3秒）YARN核心指标。
hadoop hdfs missing blocks & 安全模式
数据之美的博客
11-19 5701
近期在做磁盘有关的一些测试时，最先是发现habse出现了RIT而且还是meta表的RIT，查看hadoop，出现了hdfs  missing blocks的问题，hadoop master上一上来就能看见报该问题。 There are 88 missing blocks. The following files may be corrupted: blk_1076662996 /**/d...
HDFS block丢失，导致hadoop进入安全模式的解决方案
08-29
HDFS block丢失hadoop进入安全模式（Safe mode）的解决方法
HDFS BlockMissingException 问题排查
最新发布
freyaer的博客
11-08 686
在 DataX 数据同步（通过 DataX 调用 Spark 引擎）时，任务失败并抛出以下异常（某日志节选）：其中 DatanodeInfoWithStorage 中的 <IP> 因任务而异，可能涉及集群中多个节点。初步排查知道，
hdfs missing blocks corrupt blocks
Black&White的专栏
01-05 1345
环境： CDH集群 问题描述： Cloudera Manager 监控HDFS爆红 Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录 Missing blocks Currupt blocks 解决方案： 以上问题描述都是hdfs丢失块或者块损坏造成，当hdfs丢失块时，hdfs会进去安全模式，只能...
Hadoop的missing block
暁洣的博客
03-04 1004
偶然遇到一个有意思的错误，在HDFS写文件的时候描绘出现MissingBlockException，经过翻阅资料以及问题的复现，在排除代码逻辑问题后，大概总结了两个原因： Datanode节点break Datanode和Namenode之间通信有问题 是否由其他原因引起，暂时未知，欢迎补充指正。 ...
hadoop missing blocks
weixin_33906657的博客
05-29 424
2019独角兽企业重金招聘Python工程师标准>>> ...
【Hadoop集群】-集群搭建踩的那些坑之hadoop篇
航帆远洋
12-09 3690
       上篇文章说了在集群搭建的时候首先要开启ssh的公钥验证，只有开启了公钥验证后才能够使用公钥登录，但是在开启并生成公钥后还需要对秘钥文件进行授权处理，一般生成的authorized_keys可能文件的归属并不是ssh权限，所以在使用公钥验证的时候无法访问该文件，需要修改文件的归属权。        ssh公钥互相通信搭建好后，这只是第一步，第二步就需要安装配置hadoop和对应的had...
org.apache.hadoop.hdfs.server.namenode.SafeModeException: Zero blocklocations for /stock_data/stock_raw_data/stock_000005_yearly_data.csv. Name node is in safe mode. The reported blocks 2070 needs additional 9679 blocks to reach the threshold 0.9990 of total blocks 11760. The number of live datanodes 1 has reached the minimum number 0. Safe mode will be turned off automatically once the thresholds have been reached.
03-31
如果这时候有客户端尝试写入或删除操作，就会抛出SafeModeException。 用户提到Zero block locations，这可能意味着某些数据块的位置信息丢失或未被正确报告。可能的原因包括数据块损坏、DataNode未能正常启动或...
剑指数据仓库-Hadoop四
SparkOnYarn的博客
03-26 419
一、上次课程回顾 二、Hadoop四（一） 2.1、hdfs副本放置策略 2.2、hdfs的文件写流程 2.3、hdfs的文件读流程 2.4、hdfs上的datanode 2.5、hdfs上关于数据修复 2.6、hdfs上的SecondaryNameNode 2.7、fsimage+editlog详解 2.8、校验文件是否损坏 三、Hadoop四（二） 3.1、hdfs集群上各个节点数据如何...
【大数据】记一次hadoop集群missing block问题排查和数据恢复
如切如磋，如琢如磨，臻于至善。
02-24 3319
记一次 Hadoop 集群 missing block 问题解决及排查思路，集群环境总共有2个NN节点，3个JN节点，40个DN节点，基于hadoop-3.3.1的版本。集群采用的双副本，未使用ec纠删码。因为出现了missing block块高于namenode安全模式启动的阈值，导致namenode起来一直处于安全模式。
Hadoop集群报BlockMissing错误
qq_45289871的博客
05-12 1065
Hadoop报Blocks Missing Exception
hdfs数据丢失数据块block missing问题排查解决
赵英超的博客
10-07 1975
告警内容:NameNode Blocks Health:Total Blocks:[13352317], Missing Blocks:[1]最后平滑重启NameNode，在重启异常的DataNode解决。允许ipc通讯最大的数据包为128MB，默认配置为64MB。开始时间:2023-10-02 08:05:12。组件:HDFS/cube-hdfs-1。排查hdfs datanode日志发现。持续时间:8小时44分钟。但是数据一直没法恢复。
HDFS数据恢复之Block Missing
wateraworld的专栏
03-29 5625
背景 报警得知2台机器宕机，推测是IDC同事在处理之前的报修。一台是系统盘故障，12块数据盘正常。一台是某块数据盘损坏。两台机器宕机时间相差不大，副本未自动补偿完毕，导致有27个block丢失，发生Block Missing，若干新旧文件发生corrupt。 解决方案 获得missing block列表，通过namenode即可获得。通过ramos进入系统盘损坏的机器，将全部
hdfs报错 ‘There are 10 missing blocks...‘
hhhhhhhhhhhnb的博客
05-17 896
hdfs集群下线DataNode要严格遵守顺序！！！ 启动hdfs与yarn平台后，进入web页面发现无法上传文件和创建目录，更无法删除目录。在hadoop中发现提示为进入安全模式。 查看安全模式状态 hdfs dfsadmin -safemode get 进入安全模式 hdfs dfsadmin -safemode enter 离开安全模式 hdfs dfsadmin -safemode leave ...
hdfs missing blocks. The following files may be corrupted
lixgjob的博客
06-13 2001
https://www.cnblogs.com/itboys/p/9596441.html There are 2 missing blocks. The following files may be corrupted： 步骤1，检查文件缺失情况 可以看到， blk_1074785806 /var/log/yarn_hislog/yarn/apps/root/logs/app...
HDFS HA切换后missing block问题分析
我想静静
05-31 6861
HDFS HA切换后missing block问题分析
HDFS missing blocks的处理办法
热门推荐
数据源的港湾
12-11 1万+
Hadoop集群中遇到了HDFS missing blocks的错误，处理办法如下： 切换到hdfs用户 su - hdfs 使用hadoop fsck命令检查坏的块 hadoop fsck / 输出示例如下 ， ... /user/trafodion/.hiveStats/HIVE.DMA.DMA_ENTTYPE_STAT_ORC-1532663517555-NOSTRIPENUMR...
grep hadoop-hadoop-namenode-master.log
04-23
这是一个Linux命令，用于在文件中查找指定的文本字符串。在这个例子中，我们要在hadoop-hadoop-namenode-master.log文件中查找特定的字符串。具体使用方法为：在终端中输入以下命令： grep "hadoop-hadoop-namenode-master.log" 文件名 这将在指定的文件中搜索包含“hadoop-hadoop-namenode-master.log”的行，并将它们打印到终端上。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值