0601-6.1.0-解除授权后的机器重新加入集群异常分析

最新推荐文章于 2023-08-05 15:14:47 发布
原创 最新推荐文章于 2023-08-05 15:14:47 发布 · 772 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

Fayson的github： https://github.com/fayson/cdhproject

推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f

1 问题重现

  • 测试环境

1.CDH5.16.1
2.Redhat7.4
3.集群已启用Kerberos

1.通过CM页面进入“主机”->“所有主机”。

在这里插入图片描述
2.在右侧菜单栏勾选“群集”，默认是不勾选的。

在这里插入图片描述

在这里插入图片描述

3.勾选cdsw.fayson.com，然后点击“从群集中删除”，这时CM会解除授权这台节点，如果这台是DataNode，因为要复制数据，可能需要较长的时间，但Fayson为了更快的重现异常，该节点只有Gateway角色。

在这里插入图片描述

点击“确认”

最低0.47元/天 解锁文章
hadoop基础----hadoop实战(十四)-----hadoop管理工具---CDH移除主机
直到世界的尽头
01-17 1968
注意事项 在CDH的Hadoop集群中提供有主机解除授权和将节点移除集群的操作 正常情况下节点的解除授权不会导致blocks丢失的情况，但是在某些特殊场景中还是会出现小量blocks的丢失。 比如: 1、同时下线的节点数量太多，如果副本数为3，建议最多同时停用2个DataNode进行下线操作，等待下线完成后，进行副本检查没有问题后再下线其他节点 ----也就是说 至少保留一个DataNode 2、...
0494-如何恢复HDFS中节点正常解除授权丢失的数据
Hadoop_SC的博客
01-12 1202
作者：唐辉 1 文档编写目的 在Hadoop集群中提供有主机解除授权和将节点移除集群的操作，正常情况下节点的解除授权不会导致blocks丢失的情况，但是在某些特殊场景中还是会出现小量blocks的丢失，本篇文章主要介绍如何恢复HDFS中节点正常解除授权的丢失数据如何恢复和正常解除授权时可能造成blocks 丢失的原因以及如何规避这些风险 文章概述 1.模拟blocks 丢失 2.重新上线已解除...
CDH6下线DataNode节点
新生代农民工Steven
08-10 2187
CDH6下线DataNode方案
CDH5.6下线Hdfs的DataNode
ith321的博客
04-11 1972
cdh低版本非dfs_host方式下线datanode。
Cloudera Manager CDH Sentry 授权
阿正的博客
04-03 469
参考： https://blog.csdn.net/u011026329/article/details/79167751 https://blog.csdn.net/DF_XIAO/article/details/52838648CDH5.7配置kerberos身份认证+sentry权限管理
gmp-6.1.0.tar.gz
05-17
tar -zxvf linux-tool-gmp-6.1.0.tar.gz GMP是一个用于任意精度算术的免费库，对有符号整数、有理数和浮点数进行运算。除了GMP运行的机器中的可用内存所暗示的精度外，精度没有实际限制。GMP有一套丰富的功能，并且...
jakarta.servlet-api-6.1.0.jar中文-英文对照文档.zip
最新发布
09-01
（1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保...
mssql-jdbc-6.1.0.jre8-API文档-中英对照版.zip
07-14
赠送jar包：mssql-jdbc-6.1.0.jre8.jar； 赠送原API文档：mssql-jdbc-6.1.0.jre8-javadoc.jar； 赠送源代码：mssql-jdbc-6.1.0.jre8-sources.jar； 赠送Maven依赖信息文件：mssql-jdbc-6.1.0.jre8.pom； 包含翻译后...
CM中对yarn节点解除授权和停止的区别
u013176920的博客
11-14 371
我理解您询问在某个NodeManager的Action选项中，“stop this nodermanager”和“Decommission”的区别。 1） 角色实例的【停止/Stop】是指停止角色实例的进程。但不会解除该角色在集群中的授权，也就是说集群中还是注册了这个角色实例的服务信息。角色实例可以再次启动，加入服务。 2） 角色实例的【解除授权/Decommission】是指角色实例退出集群...
CDH集群主节点宕机恢复
weixin_30375427的博客
09-30 979
1 情况概述 公司的开发集群在周末莫名其妙的主节点Hadoop-1的启动固态盘挂了，由于CM、HDFS的NameNode、HBase的Master都安装在Hadoop-1，导致了整个集群都无法使用，好在数据不在启动盘。 Hadoop-1的系统必须重装，但是不能重装集群，因为要将之前的数据全部保留恢复，所以只能通过集群恢复的手段将集群重新跑起来。 主要服务角色安装情况： Hado...
在Hadoop集群实施成功后再次格式化名称节点，datanode无法加入集群的处理办法...
weixin_33697898的博客
08-03 295
2019独角兽企业重金招聘Python工程师标准>>> ...
解除HDFS的安全限制
简单点的博客
08-05 178
解除HDFS的安全限制
【转载】CDH下线与上线主机
allen的博客
12-25 969
原文中 对DataNode解除授权前调优HDFS 减少同时下线的节点数量：最多同时停用 n−1n - 1n−1 个DataNode进行下线操作，等待下线完成后，进行副本检查（nnn 为副本数） hdfs fsck / -list-corruptfileblocks -openforwrite -files -blocks -locations 2>&1 > /tmp/h...
CDH主机下线
eyeofeagle的博客
11-24 1019
文章目录1，配置hdfs, hbase: 提高下线速度2，主机：进入维护模式3, 主机解除授权: Decommission(退役)解除授权的操作细节hdfs 数据转移hbase数据转移 参考：https://docs.cloudera.com/documentation/enterprise/5-12-x/topics/cm_mc_decomm_host.html 1，配置hdfs, hbase: 提高下线速度 ########## hdfs ############# #依据迭代设置复制工作乘数器 dfs
CDH删除退役节点
胡八一的博客
07-08 1575
CDH 退役节点操作
CDH5.16.1全网最细的企业级离线部署
05-23
Hadoop的调优和运维对于Hadoop来说是很重要的一个环节,对于大规模数据集来说更是如此。性能调优对于Hadoop来说无异于打任督二脉,对于Hadoop的计算能力会有质的提升,而运维之于Hadoop来说,就好像金钟罩,铁布衫一般，有了稳定的运维Hadoop才能在海量数据中大展拳脚,两者相辅相成,缺一不可。
CDH节点卸载文档
wx740851326的博客
10-15 2060
如果需要卸载cdh，那么主要需要做的是停止cdh的相关服务，清理cdh相关的组件的路径，卸载cdh相关的程序安装包 1.需要卸载cdh的节点移出集群环境（单节点卸载和集群卸载操作是一样的）  参照左图， 第一步是停止主机上的角色 第二步是解除主机的授权 第三步是将主机从集群中删除 这三个步骤中如果存在某个步骤执行缓慢 可以终止操作，选择相应的服务来单独执行步骤1和2      ...
CDH 删除Agent节点
chenzl的专栏
11-01 1971
环境 centos 6.5 JDK 8 CDH 5.16 CDH 通过CM安装,而不是独立安装组件包; CM移除节点 登录web管理界面 执行: 主机->所有主机->勾选主机->已选定的操作:停止主机上的角色 执行: 主机->所有主机->勾选主机->从群集中删除:勾选"解除授权角色"和"跳过管理角色" 执行: 主机->所有主机->勾选主机-&gt...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值