HDFS没有一台namenode能启动

最新推荐文章于 2024-04-29 18:19:35 发布
原创 最新推荐文章于 2024-04-29 18:19:35 发布 · 489 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文解决了一个在Hadoop集群中遇到的问题：JournalNotFormattedException。通过在所有journalnode守护进程启动后，在namenode下执行hdfsnamenode-initializeSharedEdits命令解决了/tmp目录下的journalnode格式化问题。

org.apache.hadoop.hdfs.qjournal.protocol.JournalNotFormattedException:
Journal Storage Directory /tmp/hadoop/dfs/journalnode/mycluster not formatted

解决方式：
将所有journalnode守护进程启动后，在其中一台namenode下
执行：hdfs namenode -initializeSharedEdits

原因分析：/tmp目录的原因，下次最好指定到别的目录

Hadoop【理论篇】03：HDFS体系结构以及NameNode介绍
weixin_40612128的博客
03-02 3334
HDFS体系结构以及NameNode介绍
Hadoop系列（一）——身体是革命的本钱 HDFS体系结构（NameNode、DataNode）详解
BigData_Hubert的博客
08-21 8144
hadoop文件读取实例中yarn的作用是什么样的？ 要想理解hadoop文件读取的过程，除了理解YARN还需要提前了解一下hadoop 中NameNode和DataNode的原理和功能。 NameNode NameNode在内存中保存着整个文件系统(hdfs)的名字空间(namespace）和文件数据块的地址映射(Blockmap)。整个HDFS可存储的文件数受限于NameNode的内存大小。 它的功能如下： NameNode负责文件元数据信息的操作以及处理客户端的请求 NameNode管理HDFS文件
Journal Storage Directory not formatted
Mrknowledge
04-15 1万+
当你从异常信息中看到JournalNode not formatted，如果在异常中看到三个节点都提示需要格式化JournalNode，如果你是新建集群，你可以重新格式化NameNode,同时你会发现，JournalNode的目录没有被格式化… 如果只是其中一个JournalNode没有被格式化，那么首先检查你的JournalNode目录权限是否存在问题，然后从其他JournalNode
【记录】Journal Storage Directory /dfs/jn/nameservice1 not formatted
遇事不决问春风
11-17 1235
解决方案 缺啥文件建啥文件 在创建了 paxos文件 并修改权限后 启动成功
hadoop HA配置
zzw_17600691357的博客
04-17 417
1、zookeeper集群搭建 a) 将zookeeper.tar.gz上传到node2、node3、node4 b) 解压到/opt tar -zxf zookeeper-3.4.6.tar.gz -C /opt c) 配置环境变量： export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.6 export PATH=$PATH:$ZOOKEEPER...
Journal Storage Directory /tmp/hadoop/dfs/journalnode/ns not formatted
qq_43382641的博客
12-07 2010
Journal Storage Directory /tmp/hadoop/dfs/journalnode/ns not formatted 项目场景： 项目背景：大数据集群断电关机,强制关机,非正常关机,没有关闭服务关机造成的问题:Journal Storage Directory /tmp/hadoop/dfs/journalnode/ns not formatted 报错： 2020-12-07 15:02:47,704 INFO org.apache.hadoop.hdfs.qjournal.cl
flink项目namenode启动失败：Journal storage directory /tmp/hadoop/dfs/journalnode/hadoopha not formatted
DRD
04-06 1656
在测试flink的HA时，把某个节点（部署了jobmanager和namenode）的节点reboot了，然后启动时发现namenode没有起来，报错大概如下： org.apache.hadoop.hdfs.qjournal.protocol.JournalNotFormattedException: Journal Storage Directory /tmp/hadoop/dfs/journalnode/xxxx not formatted at org.apache.hadoop.hdfs.qjou
HDFS核心源码解析(一)——NameNode的启动流程
zp的博客
08-29 1361
本文通过源码的方式详解了NameNode的启动流程 1. 通过createNameNode 创建new NameNode对象 2. NameNode在创建后立刻执行initialize方法 3. 创建并启动HttpServer 4. 加载元数据FSNamesystem 5. 创建并启动NameNodeRpcServer对象 6. 公共服务的检查，磁盘空间、安全模式 7. 最后提供了一张大图，对NameNode启动流程做了总结
HDFS 中 NameNode、DataNode 和 SecondaryNameNode 的工作机制
weixin_44480009的博客
04-29 893
【代码】HDFS 中 NameNode、DataNode 和 SecondaryNameNode 的工作机制。
Hadoop HDFS源码学习之NameNode部分
weixin_38836273的博客
03-08 1510
NameNode源码学习 文章目录NameNode源码学习一、NameNode简介二、文件系统目录树2.1 INode相关类2.2 快照特性的实现2.3 FSEditLog类 Java、大数据开发学习要点（持续更新中…） 一、NameNode简介    二、文件系统目录树   NameNode最重要的两个功能之一是维护文件系统的命名空间。HDFS文件系统命名空间在NameNode内存中是以一颗树的结构来存储的。无论是目录还是文件，在目录树中被看作一个INode节点。目录对应INodeDirectory
解决Hadoop namenode无法启动以及修改hdfs的存放位置
热门推荐
吃果冻不吐果冻皮
03-20 2万+
重启之后，遇到了一个问题，执行start-all.sh之后，执行JPS发现namenode没有启动。 每次开机都得重新格式化一下namenode才可以。hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/{$user}下面，但是在/tmp路径下的存储是不安全的，默认的/tmp文件每次重新开机会被清空，与此同时namenode的格式化信息就会
Hadoop常见问题及解决办法
WEBCODE
11-25 901
1：ShuffleError: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit-a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。 修改办法： 修改2个文件。 /etc/security/limits.conf vi/etc...
关于google的location定位的一些问题(location为null)
Bvin的专栏
05-07 3186
1.一开始老是location老是获取不到，像这样 LocationManager locationManager = (LocationManager) getSystemService(Context.LOCATION_SERVICE); Location location = locationManager.getLastKnownLocation(LocationM
Hadoop HA 增删节点及其中遇到的问题
qq_62638206的博客
10-22 484
在所有节点的hdfs-site.xml文件中添加exclude-slaves配置（需要重启）查看namenode路径下的VSERION,保证其他节点上的datanode路径下的VSERION中的cid与其一致。解决办法:在~/.ssh/config文件中添加UserKnownsFile ~/.ssh/known_hosts。在所有老节点中添加exclude-slaves文件，并在其中加入新节点的主机号。否则容易出现got与expected不同！(注意路径下的current文件)
Hadoop HDFS 高可用解决方案
moyefeng198436的专栏
02-04 975
Hadoop官方推荐的解决方案是：Quorum Journal Manager（仲裁日志管理器，简称：QJM）。 QJM处理方式： 1、使用zookeeper中的ZKFC来实现主备切换； 2、使用Journal Node(JN)集群实现edits log的共享达到数据同步的目的； 3、使用zookeeper客户端ZK Failover Controller来监控和管理NameNode的健康状态； 集群搭建： 1、服务器环境 免密登录、集群时间同步、JDK、hostname等的配置 ..
记录一次HDFS JN迁移异常处理
qq_32068809的博客
06-25 1582
集群环境为CDH6.3.2，现需要将hdfs三个jn中的其中一个迁移到其他节点，当正在CDH管理端操作jn迁移时，误删了目标jn节点上迁移任务刚自动创建的jn数据目录，之后产生了一系列问题，先看下误删jn数据目录后的jn报错日志： 2021-06-19 11:43:09,759 INFO org.apache.hadoop.hdfs.qjournal.server.JournalNode: STARTUP_MSG: /*******************************************
hadoop自动故障转移集群搭建详解
weixin_40548182的博客
04-27 2290
web界面传文件报错 proxyserver进程没启动 2022-04-24 18:48:47,598 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Got finalize command for block pool BP-379694539-192.168.103.232-1650785972850 2022-04-24 18:49:35,435 ERROR org.apache.hadoop.hdfs.server.datanode.Da
Hadoop集群搭建常用命令、目录及注意
灿若星辰丶的博客
07-17 6809
目录：（1）/usr/local/hadoop/（2）hadoop配置目录：/usr/local/hadoop/etc/hadoop（3）/usr/local/hadoop/sbin（4）share目录在/usr/local/hadoop下（5）将HDFS所有文件副本数调整为2，数据块大小为512MB：在/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件中修改...
HDFS配置详解
weixin_43990680的博客
02-04 6253
HDFS配置详解随笔说明hdfs-site.xmldfs.namenode.name.dirdfs.block.sizedfs.datanode.data.dirdfs.namenode.handler.countdfs.datanode.handler.countdfs.datanode.max.xcieversdfs.permissionsdfs.datanode.du.reserveddfs...
一台机器可以有多个namenode吗
最新发布
08-27
默认情况下，一个HDFS集群通常部署一个活跃的NameNode来处理客户端请求。但为了提升系统的容错能力和可靠性，Hadoop提供了高可用性配置选项，允许设置多个NameNode实例：一个活跃节点（Active NameNode）和一个或多...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值