0534-6.1-如何使用Cloudera Manager禁用YARN的HA

最新推荐文章于 2021-12-15 14:03:05 发布
最新推荐文章于 2021-12-15 14:03:05 发布
阅读量451 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Hadoop实操
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Hadoop_SC/article/details/103561561
本文档详细介绍了如何在Cloudera Manager 6.1环境下禁用YARN的高可用性（HA）。首先，文章阐述了禁用YARN HA的背景和测试环境，接着通过管理员账户登录Cloudera Manager，依次进行选择禁用HA的ResourceManager主机、确认禁用操作，最终成功禁用并验证仅剩一个ResourceManager实例。最后，通过提交Pi作业和检查Yarn的8088端口来确保Yarn功能的可用性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1 文档编写目的

前面Fayson写过《6.1-如何使用Cloudera Manager启用YARN的HA》。本篇文章主要讲述如何使用Cloudera Manager禁用YARN的HA。

  • 测试环境

1.CM和CDH版本为6.1

2.Redhat7.4

3.拥有Cloudera Manager的管理员账号

4.集群已启用Kerberos

2 禁用YARN HA

1.使用管理员用户登录Cloudera Manager的Web管理界面，进入YARN服务

2.点击“禁用High Avaiability”，选择禁用HA后运行ResourceManager的主机

3.点击“继续”，禁用ResourceManager HA

禁用成功

4.点击“完成” ，查看YARN的实例

最低0.47元/天 解锁文章

200万优质内容无限畅学
从入门到精通 - Fayson带你玩转CDH
Hadoop_SC的博客
09-22 4136
Fayson保持每天推一篇文章，本文随之每天更新。 以下所有文章均为超链接，可以直接点击文章名跳转。 还没附上超链接的文章是还没上传的，会再后续更新后陆续补上 1.规划设计 1.1.on-premise部署规划 0001-《CDH网络要求(Lenovo参考架构)》 0062-《如何为Hadoop集群选择正确的硬件》 0158-《如何给Hadoop集群划分角色》 1.2.on private c...
Flink v1.11 - 官网 - 部署与运维
MiaoSO的博客
09-08 2934
Flink v1.11 - 官网 - 部署与运维 Flink v1.11 - 官网 - 部署与运维 一、集群与部署 1.1 概览 1.1.1 部署方式 1.1.2 部署目标 1.1.3 Application Mode 1.2 Local Cluster - 本地集群 1.3 Flink Downloads 1.4 Hadoop Integration - Hadoop 集成 1.5 Standalone Cluster - 独立集群 1.6 YARN 1.6.1 Quickstart 1.6
yarn禁止运行
Y4258的博客
10-21 479
解决： 运行管理员，输入powershell，然后输入set-ExecutionPolicy RemoteSigned
0479-如何禁用HDP2.6.5的HDFS HA
Hadoop_SC的博客
01-22 524
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1 文档编写目的 Fayson为了方便接下来从HDP迁移到CDH的工作，这里先补充一篇如何禁用HDP的HDFS的HA，从HDP原地迁移到CDH，如果你的原HDP集群...
在cm集群当中对yarn资源的管理的设置（Yarn 动态资源池配置）
weixin_30906425的博客
12-29 672
最近在做yarn的资源隔离，就是在yarn的控制界面实现对yarn的资源的划分。这个一般是对资源的动态分配。 这里是相关的权限可以设置核心数等信息。 计划策略这一栏就是使用默认的设置。其他的设置可以先不管。接下来我们在来看我们真个资源调度的执行顺序： 这里设置成功之后，我们在提交代码的时候将代码指定到相应的资源池当中进行执行即可。执行的代码如下： # echo...
Ambari ResouceManager HA回退
12-03 249
使用Ambari启用ResouceManager HA操作很容易。 但是我遇到一个难题，除了生产环境，其他环境的ResouceManager都已经开启了HA。在操作生产环境之前我想先在测试环境演练一下，但是Ambari并不支持HA的回退。 还好看到了下面这篇文章： https://blog.csdn.net/ZhouyuanLinli/article/details/79447187 先调用接口： curl --user admin:admin -i -H "X-Requested-By: ambari"
spark on yarn 在HA nn1关闭的时候问题
浏阳河
12-11 413
当 nn1关闭的时候，spark提交任务不能执行报错如下： spark官方文档说明了这个问题的存在，应该很快就解决了，我们提交任务后，需要等待50*2秒，没有太大影响
【CDH6.3.1集群搭建与维护】：麒麟v10-sp3环境下的全面指南
CDH6.3.1作为Cloudera的一个发行版本，提供了企业级的数据处理和分析能力。它的出现，不仅强化了数据湖架构的稳定性，还提高了数据的安全性和易用性。 ## 1.2 CDH6.3.1的主要特性 CDH6.3.1版本带来了多项改进和新...
CDH安装6.1.0安装文档分享＜＜＜安装＞＞＞
进坑第一步的博客
09-26 682
1.集群资源 1.1 集群资源配置 # 配置十台服务器 每台服务器的配置如下 ： Cores（内核） Memeory（内存） Disk（磁盘） 1 48 256 2 48 256 3 48 256 4 48 256 5 48 256 6 48 256 7 48 256 8 48 256 9 48 256 10 48 256 1.2 集群服务配置 # 每台服务器配置的服务角色如下： IP Zookeeper服务 Yarn服务 Hive服
cdh-配置HDFS和yarn的HA
DCHAO的博客
04-19 232
https://cloud.tencent.com/developer/article/1078380 注意： hdfs启动HA完成之后提示需要手动配置hue和hive，hive没问题，hue暂时还没找到怎么配
yarn 8088 页面无法打开：拒绝连接请求
一只咸鱼的博客
06-28 1656
防火墙已关闭 yarn-site.xml配置： <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name...
Yarn安装后，Vue项目中无法使用Yarn命令
懮俍的博客
12-15 1990
1、安装Yarn配置Yarn 用npm安装 npm install -g yarn yarn config set registry https://registry.npm.taobao.org -g yarn config set sass_binary_site http://cdn.npm.taobao.org/dist/node-sass -g 不出意外的话 当你想在项目里启动项目时，你会发现 这时 1：搜索powershell，以管理员方式运行powershel..
CDH集群的关闭与开启
JCY19890312的博客
11-14 6943
周末要关闭大数据集群步骤如下：   1  、在主页上cloudera manager 上关闭cluster和service即可；    2 、远程关闭centos，命令如下：sudo shutdown -h now    3  、开启集群如下：             a ]   开启service   命令如下：sudo /opt/cm-5.0.0/etc/
关于hadoop yarn安全漏洞简单处理
高矮
05-09 3670
最近大数据有3个集群都出现问题： 现象： 1、黑客注入脚本，以hadoop-yarn用户疯狂提交 2、署名用户为yarn的进程疯狂占用CPU，整个集群CPU跑慢   处理： 1、先收回\tmp目录的执行权限（为解燃眉之急，这一步是最快的，可以快速让环境恢复正常的） 2、对yarn提交任务进行最小权限控制，用户权限控制 3、运维安全管理，端口号管理（8088这个端口特别关照） ...
hadoop 8088端口无法访问
热门推荐
u013761049的专栏
08-17 1万+
hadoop集群正常启动，日志无任何错误。而8088端口不能访问。则需要为yarn-site.xml文件添加一下属性。并重新执行start-yarn.sh。 修改配置文件---yarn-site.xml，将下列属性添加 &lt;property&gt; &lt;name&gt;yarn.resourcemanager.address&lt;/name&gt; &lt;value&gt;192.1...
Cloudera Manager安装Kafka集群
争当鲲鹏飞万里 不做燕雀恋子巢
11-26 2260
一、前提条件和环境 1、环境：CDH5.16.x|Centos7.x|scala 2.11 2、CM和CDH环境已经搭建完成。在CDH上集成Kafka，要求用CDH上的Zookeeper管理Kafka。 二、相关软件下载 cloudera官网kafka： https://docs.cloudera.com/documentation/kafka/latest/topics/kafka_p...
cdh-禁用和重新部署HDFS HA
lisery的博客
06-21 2359
禁用和重新部署HDFS HA 使用Cloudera Manager禁用和重新部署HDFS HA 最低要求的角色：群集管理员（也由完全管理员提供） 1.进入hdfs服务页面 2.选择操作&gt;禁用高可用性 3.选择NameNode和SecondaryNameNode的主机，然后单击Continue。 4.选择HDFS检查点目录并单击继续。 5.确认您要采取此操作。 6.更新hi...
关闭yarn服务报错no ResourceManager to stop
晓风岚月
02-15 4001
重启yarn服务报错noResourceManager to stop，百思不得其解，找了很多方法，最终解决了这个问题 首先我在关闭yarn服务时候，出现如下代码 starting resourcemanager, logging to /opt/modules/hadoop-2.5.0-cdh5.3.6/logs/ yarn-admin-resourcemanager-hadoop-se...
记录yarn被攻击的解决办法
weixin_48445640的博客
12-14 540
目前如果在腾讯云服务器上部署hadoop框架开启yarn时可能会被黑客攻击（8088yarn计算端口）。 我已经踩雷，出现的结果就是我的用户下的所有文件都被删除而且不能添加任何文件并且一旦添加文件就会被自动删除（.bashrc和.bash_profile核心文件也被删除）。 此时linux系统显示如下状态： bash-4.2 解决办法： 通过top命令查找到木马文件，一个乱码： 将其进程PID杀死即可 进程被删除后，再将核心文件导入到自己的用户下即可，并且source下 但是之前被删除的文件是找不回来了
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值