ambari 更改hdfs 的存储目录，不能保存更改的问题

最新推荐文章于 2023-12-18 16:14:07 发布
原创 最新推荐文章于 2023-12-18 16:14:07 发布 · 961 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文记录了在公司使用Ambari搭建环境时遇到的问题：尝试重置HDFS datanode存储目录，却发现无法保存设置，尤其是在尝试将目录设置为/home时。通过排查，找到了可能的原因及解决思路。

1、在公司搭建ambari环境，重置hdfs的datanode存储目录发现不能保存
2、找到找去，一个个去测试，才发现、不能存入到/home目录下

在这里插入图片描述

lbl251
关注
大数据技术之Ambari
魔法革1996
03-17 820
第1章 Ambari简述 1.1 什么是Ambari Apache Ambari项目旨在通过开发用于配置，管理和监控Apache Hadoop集群的软件来简化Hadoop管理。Ambari提供了一个直观，易用的Hadoop管理Web UI。 1.2 Ambari的功能 提供了跨任意数量的主机安装Hadoop服务的分步向导。 处理群集的Hadoop服务配置。 提供集中管理，用于在整个集群...
一次Ambari安装记录
晓郎编程
04-20 1305
Ambari是一个开源的Apache项目，它提供了一个直观易用的Web界面，用于管理、监控和配置Apache Hadoop集群。它是一个集群管理工具，可以帮助管理员轻松地部署、管理和监控Hadoop集群的各种组件，如HDFS、YARN、MapReduce、Hive、HBase等。通过Ambari，用户可以在集群中添加或移除节点，监控集群健康状况，执行配置更改，以及查看各种性能指标和日志。Ambari的用户界面直观友好，使得对Hadoop集群的管理变得更加简单和高效。
Ambari修改DataNode存储目录
CodeAsWind
09-08 2948
操作背景： HDFS DataNode定义的存储目录不正确或HDFS的存储规划变化时，需要修改DataNode的存储目录，以保障HDFS的正常工作，假定我们现在对应的HDFS数据盘位置为：/hadoop/hdfs/data; 预将数据目录迁移至/data/hadoop/hdfs/data目录底下； 目前操作系统受影响情况： 1） 更改DataNode存储目录需要停止HDFS服务，在此期...
Hadoop 增加硬盘
arelinzhi的博客
06-13 1860
1. fdisk /dev/sdb，对硬盘进行分区设定2.格式化：mkfs.xfs /dev/sdb1 -f3. mount 硬盘  创建目录:mkdir /data01  mount /dev/sdb1 /data014. 设定电脑重启后，自动mount   vim /etc/fstab/dev/sdb1               /data01                 xfs    ...
ambari 修改服务器名,ambari - Ambari无法运行用于修改用户配置单元的自定义钩子 - 堆栈内存溢出...
weixin_33208391的博客
08-05 1535
尝试通过Ambari(v2.7.3.0)(HDP 3.1.0.0-78)将客户端节点添加到群集，并看到奇数错误stderr:Traceback (most recent call last):File "/var/lib/ambari-agent/cache/stack-hooks/before-ANY/scripts/hook.py", line 38, in BeforeAnyHook().e...
Ambari更改HDFS的Datanode和Namenode路径发生的错误
weixin_33964094的博客
03-20 858
2019独角兽企业重金招聘Python工程师标准>>> ...
在使用Ambari管理HDP集群时，如何重新配置HDFS的数据节点目录以提高存储效率，并解决因重启集群导致的NameNodeLastCheckpoint警告问题？
最新发布
10-27
在这里，你可以修改NameNode和DataNode的数据目录，以指向你的数据盘，例如将NameNode的数据目录更改为挂载的/data/hadoop/hdfs/namenode，并将DataNode的数据目录更改为/data/hadoop/hdfs/data。完成这些配置后，你...
在Ambari管理的HDP集群中配置HDFS时，如何调整数据节点目录以优化存储利用，并在出现NameNodeLastCheckpoint警告时采取有效措施？
10-27
在Ambari管理的HDP集群中，优化存储资源利用首先需要调整HDFS的数据节点目录。具体操作如下： 参考资源链接：[HDP与Ambari安装资源：网盘分享与常见问题解决方案](https://wenku.youkuaiyun.com/doc/5qbr0y8mmq) 首先，...
Ambari组件属性不可修改设置
TT-Learning
11-16 1070
Ambari监控大数据组件，其中属性，进要求在安装时设置，后期不能在Ambari界面进行修改，属性进行以下设置：、 找到该属性所对应的xml配置文件 在该属性<property>属性中添加以下内特 <property> <name>hadoop_pid_dir_prefix</name> <value>/var/run/hadoo...
ambari 界面配置问题集
kobel的博客
02-26 1304
1、一直无法在准备状态 解决方法：缺少了那个文件，就在报错缺失的路径创建，并赋予权限 通过查看，/var/run/ambari-server目录下确实没有bootstrap文件夹，手动添加即可 mkdir bootstrap 但是，如果只创建该文件夹的话，ambari依然报错，大概是没有权限相关的，就不贴出详细的异常了 为ambari用户添加权限即可 chown -R ambari:ambari /var/run/ambari-server/bootstrap/ 2、ssh配置问题 遇到问题：
datanode 目录设置 can't start with home(s) in ambari
不懂代码的胖子
08-16 1678
/usr/lib/ambari-server/web/javascripts/app.js isAllowedDir: function(value) { var dirs = value.replace(/,/g,' ').trim().split(new RegExp("\\s+", "g")); for(var i = 0; i &lt; dirs.length; i+...
HDFS中NameNode和DateNode多目录的配置
Huc673619的博客
09-18 1040
一.HDFS中多目录的配置 1.NameNode多目录配置 1）NameNode本地目录可以配置多个，且每个目录存放内容相同，增加了可靠性 2）具体配置如下 （1）在hdfs-site.xml文件中添加如下内容 <property> <name>dfs.namenode.name.dir</name> <value>file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs
ambari安装部署HDFS--添加DataNode节点和nfsgateways（二）
zsk_john的技术分享专用博客
03-20 930
书接上回，HDFS集群实验时使用的是三台服务器，服务器名称分别是hdp1.com，hdp2.com，hdp3.com。但，DataNode并没有选择在所有机器上安装，并且，journalnodes和nfsgateways也没有安装，因此，本文将着重讲述添加DataNode节点和journalnodes和nfsgateways节点。 首先，应该知道，hdp3.com 这个服务器是安装了DataNode，其余两个并没有，因此，想在其他服务器上安装，我们应该在ambari的管理界面点击hosts。 一，
HDP+ambari配置datanode多目录并执行单datanode上磁盘间数据平衡
joker_dala的博客
12-18 1260
<name>dfs.datanode.fsdataset.volume.choosing.policy</name> <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
Ambari集群里操作时典型权限问题put: `/home/bigdata/1.txt': No such file or directory的解决方案（图文详解）...
weixin_33875839的博客
12-23 1万+
  　　不多说，直接上干货！        问题详情  　　　　明明put该有的文件在，可是怎么提示的是文件找不到的错误呢？ 　　　　 我就纳闷了put: `/home/bigdata/1.txt': No such file or directory [bigdata@ambigdata1 ~]$ pwd /home/bigdata [bigdata@ambigdat...
HDFS空间不足解决方法
weixin_38425162的博客
06-04 4665
1、执行sudo -u hdfs hadoop fs -du -h / 查询hdfs中各目录的占用的空间，进入占用最多的目录中（一般是日志或临时文件） 2、找到目录 /user/root/.sparkStaging 占用了大量空间，此目录下存放的是各spark历史任务依赖文件 3、执行hdfs dfs -rm -r /user/root/.sparkStaging/* 删除此目录下的文件夹 4、删除的文件会被保存到/user/root/.Trash，清空垃圾桶即可 ...
hadoop环境配置过程中可能遇到问题的解决方案
热门推荐
姚光超的专栏
07-24 5万+
Failed to set setXIncludeAware(true) for parser 遇到此问题一般是jar包冲突的问题。一种情况是我们向java的lib目录添加我们自己的jar包导致hadoop引用jar包的冲突。解决方案就是删除我们自己向系统添加的jar包，重新配置。将自己的jar包或者外部jar放入系统目录会在编译程序时带来方便，但是这不是一种好习惯，我们应该通过修改CLAS
Hadoop 运行常见问题【图文】
03-08 5295
Table of Contents Output directory filealready exists Output directory filealready exists 问题描述 在运行hadoop程序时，程序报错“Output directory file:XXX already exists”， XXX是之前指定的output目录。 原因分析 hadoop 运行时...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值