hadoop Namenode因硬盘写满无法启动

最新推荐文章于 2023-03-29 16:21:21 发布

转载最新推荐文章于 2023-03-29 16:21:21 发布 · 176 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/jerryshao2015/p/4419640.html

文章标签：

#大数据 #java

本文介绍了一种当Hadoop Namenode因元数据分区写满而无法启动的情况下的解决方案。通过清空错误的edit文件，可以成功重启Namenode，恢复正常服务。

当写元数据的分区写满，可能导致namenode挂掉从而导致及时清理出大块的空间也无法启动namenode，那此时系统namenode会报错

org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NumberFormatException: For input string:“”

这是因为edit文件错误，此时执行 printf "\xff\xff\xff\xee\xff">edits 将edits 清空就可以启动namenode

转载于:https://www.cnblogs.com/jerryshao2015/p/4419640.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

dgit3228

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Hadoop NameNode性能故障排查，超万亿数据库排查分享

weixin_52672149的博客

02-23

2241

随着国内互联网行业的发展，万亿规模的超大集群虽然已不像几年前那么凤毛麟角，但是也并不多见，尤其是涉及超万亿规模的超大集群性能故障排查的机会就更加稀少。而这次我所进行的超万亿规模的Hadoop NameNode性能故障排查也是在我创业几年以来所遇到的集群规模最大，耗时最长，排查工作量最大，头发掉的最多，最终都不得不求助于大牛的一次经历。因此在问题解决之后，我也第一时间将这次的整个排查过程记录下来进行总结，希望能给看到的各位同学有所帮助。

HBase写入报错：org.apache.hadoop.hbase.RegionTooBusyException: Above memstore limit

没有格子衬衫的程序员

03-21

7905

大量写请求场景，经常出现以下错误： org.apache.hadoop.hbase.RegionTooBusyException: Above memstore limit xxx memstoreSize=1094171984, blockingMemStoreSize=1073741824 原因：一般来说memstore超过hbase.hregion.memstore.flush....

参与评论您还未登录，请先登录后发表或查看评论

因磁盘爆满而导致NameNode HA无法启动

weixin_34356310的博客

08-15

515

场景回顾：测试集群节点分配：35，36是namenode且开启HA，37,38,39即作为datanode，又作为journalnode。某时间 38节点磁盘爆满，集群中hdfs及依赖的服务全部宕掉。之后虽然将38节点清除一部分多余数据，但集群服务仍然不正常：namenode启动的时候两个都是standby，几分钟后自动关闭；datanode正常；journal正常；zkfc正常 ...

hadoop namenode 在磁盘空间快满时启动失败的处理方法

ww_great的专栏

11-14

9078

邮件列表中得到的建议：We had seen similar exception earlier reported by others on the list. What youmight want to try is to use a hex editor or equivalent to open up edits andget rid of the last record. In al

hadoop edits 文件损坏修复办法

weixin_34161064的博客

10-21

531

2019独角兽企业重金招聘Python工程师标准>>> ...

hadoop_hdfs namenode故障恢复（namenode中fsimage与edits文件损坏）

qq_45798620的博客

10-14

2802

NameNode故障恢复原理流程namenode保存fsimage的配置路径namenode保存edits文件的配置路径secondaryNamenode保存fsimage文件的配置路径secondaryNamenode保存edits文件的配置路径故障恢复代码解决方案原理使用为什么使用故障恢复的原理流程 secondaryNamenode对namenode当中的fsimage和edits进行合并时，每次都会先将namenode的fsimage与edits文件拷贝一份过来，所以fsimage与edit

揭秘Hadoop NameNode启动原理：性能调优与故障转移机制

[揭秘Hadoop NameNode启动原理：性能调优与故障转移机制](https://img-blog.csdnimg.cn/9992c41180784493801d989a346c14b6.png) # 1. Hadoop NameNode概述 Hadoop NameNode是HDFS（Hadoop Distributed File System...

【Hadoop NameNode故障应急响应指南】：节点启动失败的急救流程

[【Hadoop NameNode故障应急响应指南】：节点启动失败的急救流程](https://img-blog.csdnimg.cn/9992c41180784493801d989a346c14b6.png) # 1. Hadoop NameNode的作用与重要性 ## 1.1 Hadoop NameNode的角色解析 ...

【Hadoop NameNode启动流程全面解析】：格式化问题的预防与解决措施

![【Hadoop NameNode启动流程...本文将带你深入了解Hadoop NameNode的工作原理、启动流程以及如何进行优化和维护。我们将从NameNode的基本概念开始，逐步深入到它如何协调整个Hadoop文件系统（HDFS）的运作，以及如何

【Hbase】记一次磁盘空间写满后出现的事故及感想

lazy_moon的博客

03-06

1521

持续稳定运行一年多的Hbase，就在前天晚上突然有RegionServer挂掉了，首先尝试了一下启动这个挂掉的RegionServer，执行指令： hbase-daemon.sh start regionserver 这个RegionServer还真的启动成功了，于是乎进行了一次手动balance，进入hbase shell，执行“balance”指令，一直返回false，打开Hbase管理...

【总结】hadoop 磁盘满导致集群宕机排查解决

Java高手真经

03-29

1476

hadoop 集群因磁盘满了，导致服务挂掉，甚至有机器宕机。当机器重启后，启动nameNode 和 journalNode 有报错。

hbase写入报错： Hbase RegionTooBusyException：over memstore limit =512M

仙道Bob的专栏

06-24

4155

hbase 写入报错：over memstore limit=512m

hbase遇到问题及解决方法

热门推荐

博学而笃志，切问而近思

08-27

3万+

hbase遇到问题及解决方法1.zookeeper启动报错错误日志启动zookeeper报错信息如下：java.net.NoRouteToHostException: No route to host at java.net.PlainSocketImpl.socketConnect(Native Method) at java.net.AbstractPlainSo

hadoop 遇到的DataNode无法启动问题

打卤的博客

03-21

284

删除DataNode的所有资料及将集群中每个datanode节点的 core-site.xml <name>hadoop.tmp.dir</name> <value>/data/hadoop/hddata/</value> /data/hadoop/hddata/VERSION 删除，然后重新执行hadoop namenode -format...

hbase数据增长磁盘空间不足问题

lihuan1124的博客

05-22

2632

HBase落地到HDFS后磁盘空间急剧增长的解决场景用flume+hbase thrift朝HBase插入了大约2亿行服务器的日志数据, 在用hbase org.apache.hadoop.hbase.mapreduce.Export 的时候, 发现出现了大量的ScannerTimeoutException, 于是ctrl+c取消了落地到HDFS. HDFS 一共有 3 个datanode....

搭建hadoop集群常见坑：hadoop集群中namenode启动不起来的成因和二种解决方法

zyz的博客

11-19

5761

hadoop集群中namenode启动不起来如何解决新手在初次搭建hadoop集群中经常遇到namenode或者databode启动不起来，大概率是因为多次格式化NameNode造成的。因为每格式化一次NameNode，就会产生新的集群id,导致NameNode和DataNode的集群id不一致，最终启动不起来namenode。有二个解决方法：第一种.删除原目录，先删除data文件和logs日志文件夹，然后再格式化NameNode。data文件的路径在core-site.xml下配置的h..

生产环境hbase集群出现停掉集群之后hmaster无法启动现象，master日志报异常：Timedout 300000ms waiting for namespace table to be ass

rui276933335的专栏

05-21

357

Hbase集群起来后，Hmaster几分钟后停掉，报错出错原因见https://www.cnblogs.com/yueweimian/p/6183264.html 说的很详细，解决方案也挺好，用的第一个，把源码下载下来修改源码，删掉依赖的项目，把依赖的项目jar包导进去，打出hbase-cline项目jar包，替换生成jar，集群重启。OK，搞定可以修复数据了 ...