Ambari更改HDFS的Datanode和Namenode路径发生的错误

最新推荐文章于 2023-12-18 16:14:07 发布
最新推荐文章于 2023-12-18 16:14:07 发布
阅读量840 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： python 大数据
原文链接：https://my.oschina.net/ilovetao/blog/1647578
本文介绍了解决Hadoop重启HistoryServer时遇到的路径冲突问题。具体表现为新路径下Namenode与Datanode的clusterID不一致引发的错误。文章提供了详细的解决方案，即通过将Namenode的clusterID覆盖到Datanode上来解决这一问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

设置的路径

090903_sB1a_1046672.png

重启Restart History Server会报错：

090511_Smz9_1046672.png

查看日志后发现是如下错误：

090651_nFw6_1046672.png

错误的原因是：

新路径下的Namenode和Datanode的clusterID不一致导致的，只要把Namenode的覆盖Datanode的clusterID即可。

Datanode的clusterID路径：091027_W2DN_1046672.png

Namenode的clusterID路径：091116_HcFl_1046672.png（找好对应的服务器）

转载于:https://my.oschina.net/ilovetao/blog/1647578

Hadoop 格式化format namenode 后，ambari端启动datanode节点无法正常启动处理
xiaokebiubiubiu的博客
03-13 755
问题描述： hadoop namenode -format hdfs重新格式化之后，重新启动后，一直无法启动。 在datanode上的报错日志如下，可以看出id不一致 2021-01-09 16:34:09,920 ERROR namenode.NameNode (NameNode.java:main(1759)) - Failed to start namenode. org.apache.hadoop.hdfs.server.common.IncorrectVersionExcep
HDFS的NameNode堆内存估算
最新发布
十八闲客的博客,专注于大数据运维
08-12 531
在HDFS中，数据和元数据是分开存储的，数据文件被分割成若干个数据块，每一个数据块默认备份3份，然后分布式的存储在所有的DataNode上，元数据会常驻在NameNode的内存中，而且随着数据量的增加，在NameNode中内存的元数据的大小也会随着增加，那么这个时候对NameNode的内存的估算就变的非常的重要了。假设现在有一个192MB的文件，数据块的大小是默认的128M，那么这个192MB的文件会被切分成两个数据块，一个数据块的大小是128MB，另一个数据块的大小是64MB。
Ambari修改DataNode存储目录
01-20
操作背景： HDFS DataNode定义的存储目录不正确或HDFS的存储规划变化时，需要修改DataNode的存储目录，以保障HDFS的正常工作，假定我们现在对应的HDFS数据盘位置为：/hadoop/hdfs/data; 预将数据目录迁移至/data/hadoop/hdfs/data目录底下； 目前操作系统受影响情况： 1） 更改DataNode存储目录需要停止HDFS服务，在此期间集群无法正常对外提供服务 2）需要修改Ambari中HDFS中DataNode 对应的目录 操作步骤： 1）切换到hdfs 用户 su – hdfs 2)在HDFS客户端下，执行命令，以检查HDFS根目录下全部
ambari 更改hdfs 的存储目录，不能保存更改的问题
lbl251的博客
05-12 940
1、在公司搭建ambari环境，重置hdfs的datanode存储目录发现不能保存 2、找到找去，一个个去测试，才发现、不能存入到/home目录下
使用ambari扩展hdfs节点
妙妙的博客
04-26 4392
1.Ambari添加节点：Hosts->Action->Add New Hosts 2.在已有节点及Ambari server上添加节点IP及hostname对应关系（/etc/hosts 文件），相当于追加新的节点信息，每个服务器保持一致； 修改主机的hostname; vi /etc/sysconfig/network; service network restart 新机器会
ambari搭建HDP集群后修改存储元数据的mysql数据库配置
不是一枚开发
08-23 1302
ambari搭建HDP集群后，存储元数据的mysql数据库由单点改为集群后，需要修改ambari配置。(2)修改数据库配置文件ambari.properties中mysql配置。(1) 进入参数配置目录。
namenode无法识别到datanode节点
weixin_48879833的博客
06-11 827
namenode无法连接datanode节点，datanode节点在namenode webUI界面不显示，显示数据存储为0，datanode节点数为0，datanode节点不显示
【Hadoop】HDFS Namenode元数据管理以及故障恢复
m0_37956758的博客
09-22 1868
Namenode 的元数据管理
HDFS-Namenode和Datanode多目录配置
amingo_ss的博客
05-21 2306
目录1.Namenode多目录配置2.Datanode多目录配置2.1 Datanode配置多目录的必要性2.2 Datanode配置多目录2.2 Datanode多目录数据平衡3.启动namenode和datanode多目录配置集群 1.Namenode多目录配置 Namenode数据（操作日志文件，镜像文件等）存储路径可以配置多个不同路径，这些路径里面存储的数据相同。主要用作数据备份。 在hdfs-site.xml中配置如下信息： <property> <name&gt
HDP+ambari配置datanode多目录并执行单datanode上磁盘间数据平衡
joker_dala的博客
12-18 1135
<name>dfs.datanode.fsdataset.volume.choosing.policy</name> <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
hadoop修改默认的文件存储路径
Geek白先生的博客
08-01 4181
在自建用户下创建文件夹tmp 例如：/home/dragon/tmp 修改core-site.xml文件【存放在hadoop的安装路径/etc/hadoop】 <property> <name>hadoop.tmp.dir</name> <value>/home/dragon/tmp/hadoop-${user.name}</va...
HDFS修改存储路径扩容
比比的博客
12-10 2035
我这儿介绍的使用场景是，在docker里面搭建的大数据分析平台。因为系统是装在500GB的固态硬盘上的，所以所有的服务默认的存储路径都是在这500GB的盘子上，但是使用起来是远远不够的，这时我们就需要将2T的机械硬盘给用上。 docker里面的Ubuntu的系统无法直接挂载上2T的机械硬盘，办法是： 1.首先退出这个容器。如果你在运行了这个镜像后，容器内容有所改动，那么我建议你先将改动了的容器...
hadoop namenode ha--手动切换
luobailian的专栏
12-27 2370
 问题导读 1.hadoop的dfs.nameservices如何配置？ 2.集群配置中hdfs://mycluster的作用是什么？ 3.如何将namenode2切换为active状态？ 在参考本手册前请确保Hadoop中HDFS组件已经成功部署并正常运行，同时系统基本环境完备，包括ssh免密码登录、/etc/hosts等。          假设目前
Ambari（三）Ambari启用HA，以NameNode为例
李玉志的博客
09-18 3331
安装三个Zookeeper节点，并启动，略 为HDFS NameNode添加HA服务
文件的读写基本操作
热门推荐
范高伦的博客
09-07 1万+
一、文件是计算机中数据持久化存储的表现形式 读写文件标准操作格式1： 1、打开文件：file1 = open('文件名','读写模式') 2、操作文件 3、关闭文件：file1.close() 文件操作完毕后必须关闭，否则长期保持对文件的连接状态，造成内存溢出的现象发生 读写文件操作格式2： # 1、打开文件 file1 = open('demo.txt','w') # 2、操作文件 file1.write('hello world') # 3、关闭文件 file1.close() 1、打开文件：wi
ambari动态添加datanode和nodemanager
TURING.DT
04-13 4503
在运行中的ambari hadoop集中中动态添加或删除节点 1. 下线节点 1) namenode节点上dfs.exclude文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线server7,server8,server9,则如下： server7 server8 resourcemanager节点上yarn.exclude文件里每行添加一个服务器名，如我要下线se
通过ambari扩充datanode的硬盘容量
weixin_33729196的博客
05-04 998
为什么80%的码农都做不了架构师？>>> ...
Hadoop NameNode重新格式化 Failed to add storage directory [DISK]file
是个好男人的博客
03-07 3662
1.介绍 在NameNode重新格式化之前，需要删除DataNode上的数据和log日志。不然会造成NameNode和DataNode的clusterID不一致的问题。会有以下报错信息： Failed to add storage directory [DISK]file 2.重新格式化流程 （1）停止Hadoop服务 在NameNode上执行 需要已经配置好了环境变量 stop-all.sh （2）删除DataNode上的数据和log日志 查看hdfs-site.xml中的..
ambari 启动datanode失败
07-27
3. 检查网络连接：确保Datanode主机与其他Hadoop组件（如NameNode和ResourceManager）之间的网络连接正常，并且端口没有被防火墙或网络设备阻止。 4. 检查权限和所有者：确保Datanode数据目录的权限和所有者正确...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值