cdh namenode 节点启动失败(无法打开文件)

目录

Can't open /var/run/cloudera-scm-agent/process/28-hdfs-NAMENODE-format/super

查找 cloudera-config.sh 文件

编辑文件 cloudera-config.sh

进入最新文件夹 

修改文件属性 


Can't open /var/run/cloudera-scm-agent/process/28-hdfs-NAMENODE-format/super

cdh 6.1.0 安装服务的时候出现 NameNode 节点启动异常的问题

查找 cloudera-config.sh 文件

find / -name cloudera-config.sh

 

编辑文件 cloudera-config.sh

 vim /opt/cloudera/cm-agent/service/common/cloudera-config.sh
replace_conf_dir() {
  echo "CONF_DIR=$CONF_DIR"
  echo "CMF_CONF_DIR=$CMF_CONF_DIR"

sleep 1m;

  # Exclude files that we don't want to be modified. (OPSAPS-37023)
  EXCLUDE_CMF_FILES=('cloudera-config.sh' 'hue.sh' 'impala.sh' 'sqoop.sh' 'supervisor.conf' 'config.zip' 'proc.json' '*.log' '*.key
tab' '*jceks')
  find $CONF_DIR -type f ! -path "$CONF_DIR/logs/*" $(printf "! -name %s " ${EXCLUDE_CMF_FILES[@]}) -exec perl -pi -e "s#{{CMF_CONF
_DIR}}#$CONF_DIR#g" {} \;
}

根据错误的提示

/var/run/cloudera-scm-agent/process/28-hdfs-NAMENODE-format/super

进入 /var/run/cloudera-scm-agent/process/ 文件夹 因为后面 28-hdfs-NAMENODE-format 文件是动态变化的

看到我这里尝试了好多次才成功,这里就产生了好多个 xx-hdfs-NAMENODE-format 文件夹

可以看到,失败的 supervisor* 的所有者 和 群组为 root, 但是在使用 cloudera manager 启动 NameNode 的时候,使用的用户是 hdfs ,这就导致无法打开的问题。

进入最新文件夹 

在进行启动之后,在 /var/run/cloudera-scm-agent/process 文件夹内不断的使用 

ls -al  查看是否产生了最新的 xx-hdfs-NAMENODE-format ,然后进入到 xx-hdfs-NAMENODE-format 文件夹内,对 supervisor* 文件进行修改(在这里不要停留太多时间,因为 上面只是让方法 睡了 1 分钟,我之前设置的2分钟,但是在启动的时候提示了 超过90秒超时,我就改为了 1分钟)

修改文件属性 

-- 修改 所有者 和 群组
chown hdfs:hdfs supervisor*
-- 修改权限
chmod 777 supervisor*

这个是我启动成功后的  xx-hdfs-NAMENODE-format 文件夹的内容

 

 

### CDH 中 ZooKeeper 启动失败解决方案 当遇到CDH中的ZooKeeper无法启动的情况时,可以按照以下方法进行排查和修复。 #### 1. 停止现有进程并清理环境 如果之前尝试过手动启动或停止ZooKeeper服务,则可能存在残留的进程影响正常运行。建议先通过命令`ps aux | grep zookeeper`查找是否有未关闭的相关进程,并使用`kill -9 PID`强制终止这些进程[^2]。 #### 2. 检查环境变量设置 确认所有节点上的Java环境变量已正确配置,特别是JAVA_HOME路径指向的是有效的JDK版本;同时也要确保CLASSPATH和其他必要的环境参数都已被适当设定。 #### 3. 关闭防火墙和服务端口冲突检测 临时禁用服务器的操作系统自带防火墙(如iptables),以排除网络层面可能存在的干扰因素。另外还需核查是否存在其他应用程序占用了ZooKeeper默认监听端口(通常是2181),可通过netstat工具查看开放端口情况。 #### 4. 校验配置文件准确性 重点审查以下几个方面: - `zoo.cfg`: 确认ensemble成员列表(myid对应关系)无误; - 数据目录权限:保证指定的数据存储位置具有足够的读写权限; - 日志级别调整:适当降低log4j的日志等级有助于更清晰地观察错误提示信息。 #### 5. 查看启动日志分析异常原因 位于`/path/to/zookeeper/bin`目录下的`zookeeper.out`记录了每次执行期间产生的输出流内容,仔细阅读其中的关键字可以帮助定位具体问题所在。例如内存溢出、磁盘空间不足等问题均会在该文件中有相应体现。 #### 6. 执行恢复操作 等待ZooKeeper服务恢复正常之后再依次重启CDH集群内的NameNode节点以及DolphinScheduler等相关组件来验证整体架构是否已经完全回到稳定状态[^1]。 ```bash # 示例:检查正在运行的服务及其占用资源状况 sudo netstat -tulnp | grep java ```
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值