1.hadoop运行一段时间后关闭集群居然报了no datanode/namenode... to stop这样的问题,原因是hadoop运行各节点的节点进程id和pid文件记录的进程号不一致导致,造成进程id不一致的原因还不明确,最好在搭建hadoop环境时设置hadoop-env.sh中的export HADOOP_PID_DIR=${HADOOP_HOME}/pid,默认的目录是/tmp,linux默认会每隔一段时(一般是一个月或者7天左右)去删除这个目录下的文件。因此删掉hadoop-hadoop-jobtracker.pid和hadoop-hadoop-namenode.pid两个文件后,namenode自然就找不到datanode上的这两个进程了。
hadoop运维问题汇总,持续更新
Hadoop集群异常解析
最新推荐文章于 2024-08-16 07:08:43 发布
本文分析了Hadoop集群运行一段时间后出现nodatanode/namenode等问题的原因,指出hadoop节点进程ID与PID文件记录不一致可能导致该问题。建议在配置hadoop-env.sh时将HADOOP_PID_DIR设置为${HADOOP_HOME}
1235

被折叠的 条评论
为什么被折叠?



