CDH环境问题(持续更新。。。)

在CDH 6.1.0环境下遇到的问题及解决方法,包括克隆节点后添加到集群失败,解决方法是删除uuid文件;hadoop jar提交MR任务报错,通过在CM中安装YARN MapReduce框架JAR解决;升级CDH版本后命令找不到,使用alternatives命令配置;虚拟机意外关机导致cloudera-scm-server启动失败,解决办法是删除MySQL的redo log文件并重启MySQL。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

环境

CDH 6.1.0
centos7
五台VM虚拟机,内网

添加节点

在VM中克隆已有节点,将克隆后的节点通过Cloudera Manager 添加到集群中,安装过程中报错:安装失败。 无法接收 Agent 发出的检测信号。排查日志发现连接不上管理节点7182端口:Heartbeating to master:7182 failed。 但是telnet可以通。卸载agent后重装也不行。
原因是,这台虚拟机是克隆别的节点的,已经有agent的UUID了,和别的节点冲突,
首次启动Agent,它会生成一个uuid,路径为:
/opt/cm-5.1.3/lib/cloudera-scm-agent/uuid,
如果每台机器上的Agent的uuid都是一样,就会出现报错情况。
解决办法:直接将uuid 文件删掉,重新启动cloudera-manager-agent 即可

hadoop jar提交MR任务,报错:

File does not exist: hdfs://:8020/user/yarn/mapreduce/mr-framework/3.0.0,
查看hdfs中不存在此目录,
解决办法:在CM中yarn管理界面,点击操作按钮->安装 YARN MapReduce 框架 JAR

升级CDH版本后,命令找不到

之前装过低版本CDH5,卸载后安装CDH6,在命令行输入habse&

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值