再次折腾-启动hadoop时遇到问题

本文记录了在启动Hadoop过程中遇到的端口占用、NameNode与DataNode集群ID不一致等问题,以及解决这些问题的方法,包括删除临时文件、重新格式化和清理日志。同时,介绍了如何在HDFS上进行文件操作和运行MapReduce示例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

期间运行namenode的试验机因跑其它程序和任务重启过几次导致以前启动的hadoop相关的进程和服务都停了。今天有空再跑一次,遇到各种莫名其妙问题,好事多磨,也算是对先前没遇到问题的一个补充。


1. namenode 9000端口被占导致namenode startup failed

       这段本地调试其它程序时启动过xdebug,它的默认端口就是9000, netstat -ap 和lsof -i:9000都没看到被占用,两个不相关的程序还着实费了点时间才找出来,关掉xdebug所在的IDE解决之。


2. namenode和datanode轮流启动失败

  namenode启动失败,通常都是机器重启后hadoop core-site.xml中配置的tmp目录中name/secondaryname中的clusterID等信息不一致所致,删除其下的文件或格式化即可。

  使用 hdfs namenode -format 后,namenode可以启动了,但datanode始终启动不起来。报错如下:

WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/home/hadoop/bigdata/data/hadoop/tmp/dfs/data/
java.io.IOException: Incompatible clusterIDs in/home/hadoop/bigdata

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值