ambari下线机器节点流程步骤

最新推荐文章于 2024-06-17 00:23:05 发布
最新推荐文章于 2024-06-17 00:23:05 发布
阅读量2.6k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据平台及运维类 文章标签： ambari下线 exclude datanode exclude nodemanager
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lucia555/article/details/83008813

1.下线前如果数据不均衡，需要均衡一下数据：

    hdfs dfsadmin -setBalancerBandwidth 67108864

    hdfs balancer -threshold 5

2.ambari WEB管理平台操作NodeManager decommission

3.ambari WEB管理平台操作HRegonServer decommission

4.ambari WEB管理平台操作DataNode decommission

5.ambari WEB管理平台操作停止此节点的所有组件，stop all components

6.停止ambari-agent

   ambari-agent stop

7.ambari WEB管理平台操作delete host

8.找合适时间重启NameNode和ResourceManager

9.如果此机器上有zookeeper server，delete host之后，找合适时间restart zookeeper server

10.结束

 

    有问题加QQ群：877769335

    或者用QQ扫描二维码加群：

    

 

 

 

 

 

 

 

 

 

 

 

 

【HDFS】DatanodeAdminBackoffMonitor退役节点极慢的问题定位
LifeIsGood
03-20 278
【HDFS】DatanodeAdminBackoffMonitor退役节点极慢的问题定位
ambari动态添加删除节点
Java海洋
06-15 6344
在运行中的ambari hadoop集中中动态添加或删除节点 1. 下线节点 1) namenode节点上dfs.exclude文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线server7,server8,server9,则如下： server7 server8 resourcemanager节点上yarn.exclude文件里每行添加一个服务器名，如我要下线se
Hadoop Datanode 节点下线/删除/退役/Decommission
cliuyang的专栏
02-28 4178
节点退役 Decommission Datanode Decommission Datanode就是把Datanode从HDFS集群中移除掉。 Datanode是存储实际数据的，因此在Decommission Datanode的时候需要把Datanode上的数据迁移到别的机器上。 下线的时候Datanode会有以下操作，1：计算块信息 2：删除块 3：copy块 4：校验块信息 操作步骤 1：在Namenode上，把需要Decommission的Datanode的机器名加入到dfs.hosts.excl
使用ambari扩展hdfs节点
妙妙的博客
04-26 4390
1.Ambari添加节点：Hosts->Action->Add New Hosts 2.在已有节点及Ambari server上添加节点IP及hostname对应关系（/etc/hosts 文件），相当于追加新的节点信息，每个服务器保持一致； 修改主机的hostname; vi /etc/sysconfig/network; service network restart 新机器会
Ambari删除节点
09-27 6600
Ambari删除节点
hadoop上线和下线节点
u011250186的博客
08-07 284
hadoop上线和下线节点
ambari动态添加datanode和nodemanager
TURING.DT
04-13 4499
在运行中的ambari hadoop集中中动态添加或删除节点 1. 下线节点 1) namenode节点上dfs.exclude文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线server7,server8,server9,则如下： server7 server8 resourcemanager节点上yarn.exclude文件里每行添加一个服务器名，如我要下线se
Ambari_主机更换硬盘恢复组件
things_use的博客
11-25 570
1.问题描述 最近一台线上的主机硬盘完全坏掉，也就是说机器需要重新装了，这台主机安装的还有standby name节点，以及其他的组件。主机挂掉之后，Ambari上该主机对应的组件状态全部都为未知状态，所以也无法对其操作，最后能作的就是在该主机重新安装完系统之后，把原来安装的组件都恢复过来。 2.问题解决 （1）主机重装系统之后，基本准备工作要做好，jdk、免密登陆、防火墙、...
hbase安装，节点添加，移除，常见问题解决
07-30
HBase的安装通常包括以下几个步骤： 1. 下载HBase的源码或二进制包。 2. 解压到指定目录，例如`/usr/local/hbase`。 3. 配置HBase的环境变量，如`HBASE_HOME`，并将HBase的bin目录添加到`PATH`环境变量中。 4. 修改`...
【Yarn】jobhistory机器下线维修方案
LifeIsGood
04-02 210
【Yarn】jobhistory机器下线维修方案
Ambari修改DataNode存储目录
01-20
操作背景： HDFS DataNode定义的存储目录不正确或HDFS的存储规划变化时，需要修改DataNode的存储目录，以保障HDFS的正常工作，假定我们现在对应的HDFS数据盘位置为：/hadoop/hdfs/data; 预将数据目录迁移至/data/hadoop/hdfs/data目录底下； 目前操作系统受影响情况： 1） 更改DataNode存储目录需要停止HDFS服务，在此期间集群无法正常对外提供服务 2）需要修改Ambari中HDFS中DataNode 对应的目录 操作步骤： 1）切换到hdfs 用户 su – hdfs 2)在HDFS客户端下，执行命令，以检查HDFS根目录下全部
【AI大数据计算原理与代码实例讲解】HDFS
AI天才研究院
06-17 669
【AI大数据计算原理与代码实例讲解】HDFS 1. 背景介绍 在大数据时代,海量数据的存储和计算成为了企业和组织面临的重大挑战。传统的集中式存储和计算架构已经无法满足大数据处理的需求。为了应对这一挑战,Hadoop分布式文件系统(HDFS)应运而生。 HDFS是H
2025-04-02 11:24:49,591 ERROR org.apache.spark.scheduler.cluster.YarnScheduler: Lost executor 5 on dominos-usdp-v3-pro02: Container from a bad node: container_e35_1709867558487_220002_02_000002 on host: dominos-usdp-v3-pro02. Exit status: 143. Diagnostics: [2025-04-02 11:24:49.169]Container killed on request. Exit code is 143 [2025-04-02 11:24:49.170]Container exited with a non-zero exit code 143. [2025-04-02 11:24:49.170]Killed by external signal . 2025-04-02 11:24:49,592 WARN org.apache.spark.scheduler.TaskSetManager: Lost task 0.0 in stage 2.0 (TID 5) (dominos-usdp-v3-pro02 executor 5): ExecutorLostFailure (executor 5 exited caused by one of the running tasks) Reason: Container from a bad node: container_e35_1709867558487_220002_02_000002 on host: dominos-usdp-v3-pro02. Exit status: 143. Diagnostics: [2025-04-02 11:24:49.169]Container killed on request. Exit code is 143 [2025-04-02 11:24:49.170]Container exited with a non-zero exit code 143. [2025-04-02 11:24:49.170]Killed by external signal . 2025-04-02 11:24:49,594 WARN org.apache.spark.scheduler.cluster.YarnSchedulerBackend$YarnSchedulerEndpoint: Requesting driver to remove executor 5 for reason Container from a bad node: container_e35_1709867558487_220002_02_000002 on host: dominos-usdp-v3-pro02. Exit status: 143. Diagnostics: [2025-04-02 11:24:49.169]Container killed on request. Exit code is 143 [2025-04-02 11:24:49.170]Container exited with a non-zero exit code 143. [2025-04-02 11:24:49.170]Killed by external signal . 2025-04-02 11:26:37,187 ERROR org.apache.spark.scheduler.cluster.YarnScheduler: Lost executor 6 on dominos-usdp-v3-pro03: Container from a bad node: container_e35_1709867558487_220002_02_000003 on host: dominos-usdp-v3-pro03. Exit status: 143. Diagnostics: [2025-04-02 11:26:36.792]Container killed on request. Exit code is 143 [2025-04-02 11:26:36.793]Container exited with a non-zero exit code 143.
最新发布
04-03
另一个可能性是节点本身的问题，比如硬件故障、磁盘空间不足、网络问题，或者节点被管理员手动下线（标记为bad node）。日志中提到了“Container from a bad node”，这可能意味着YARN将该节点标记为不健康，从而...
【Hadoop】DataNode节点下线速度优化
康师傅没有眼泪
12-31 3034
具体上面参数的值设定的多少，取决于集群的规模和集群的配置，不能同一而论。几十T， 甚至上百T， 上百万block的节点掉线，会出现大量的RPC风暴，在我们存在大量小文件的集群对namenode是很大的挑战，不仅影响生产性能，也会存在很大的隐患，尤其是对于带宽有限制瓶颈的集群。然后namenode根据该节点的ip，查出该节点所有的blockid，以及对应副本所在机器，通过心跳机制安排数据复制，这时候数据的复制，数据源不在是掉线节点，而是多个副本之一所在的节点，同样这时候副本复制也遵循机架感知，副本搁置策略。
Ambari——大数据平台的搭建利器(利用 Ambari 管理 Hadoop 集群)
kkx1988的博客
09-19 3702
我们来看看如何通过 Ambari 管理 Hadoop 的集群。 Service Level Action（服务级别的操作） 首先我们进到 Ambari 的 GUI 页面，并查看 Dashboard。在左侧的 Service 列表中，我们可以点击任何一个您想要操作的 Service。以 MapReduce2 为例（Hadoop 这里的版本为 2.6.x，也就是 YARN+
Hadoop/HBase下架节点
Oozie123的博客
03-22 1240
0 前言公司某些旧机器总是出现故障，需下架此台机器，该机器部署有regionserver与datanode服务。1 RegionServer下架[注：在即将下架节点上操作]bin/graceful_stop.sh hostname2 DataNode下架[注：在NameNode节点上操作]2.1 添加下架文件excludeglsx.hadoop315 glsx.hadoop3192.2 配置hdfs
【史上最全】Ambari 大数据集群运维与管理操作指南
大数据研习社
03-30 6832
作 用 Hadoop 是用在商业主机网络集群上的大规模、分布式的数据存储和处理基础架构。监控和管理如此复杂的分布式系统是不简单的。为了管理这种复杂性， Apache Ambari 从集群节点和服务收集了大量的信息，并把它们表现为容易使用的，集中化的接口：Ambari Web 功 能 显示诸如服务特定的摘要、图表以及警报信息 创建和管理 HDP 集群并执行基本的操作任务，例如启动和停止服务，向集群 中添加主机，以及更新服务配置 执行集群管理任务，例如启用 Kerberos 安全以及执行 St
Ambari离线部署问题汇总
yanminghaop的博客
08-27 372
文章目录ambari-agent手动安装ambari搭建分布式kafka集群部署服务ambari集群部署错误总结依赖包版本错误常见问题RegionServer decommission启动失败问题 ambari-agent手动安装 在每个节点手动安装ambari-agent 修改配置文件/etc/ambari-agent/conf/ambari-agent.ini [server]下的hostname修改为master的IP地址 ambari-agent restart ambari搭建分布式kafka集
Ambari系统架构设计
u013889920的专栏
04-22 2439
设计目标 平台无关。如果服务于平台有关，需要有良好设计的可插拔接口可插拔组件：不能假定特殊的工具或技术。任何特殊的工具或技术都要跟组件封装在一起。与组件的依赖只包括puppet来管理配置，数据库来保存状态。可管理组件的版本，而不影响集群的状态。扩展性：可以很容易的添加服务、组件和API，修改配置。也需要考虑不只是支持HDP，而是整个Hadoop栈。在任意组件失败时，系统应该保持可用。系统应该
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值