datanode启动后关闭错误“DataNode: Incompatible build versions: namenode”

本文介绍了一个关于Hadoop集群中因版本不一致导致datanode进程启动后立即关闭的问题。通过对日志的分析发现,这是由于master节点的build目录中的jar包版本与原先不同所致。文中提供了解决方案,并验证了datanode进程恢复正常运行。

1、问题:

一个master节点,一个slave节点,start-all.sh启动后,slave节点的datanode进程启动后关闭。查看datanode节点上的log信息,如下:


2、分析:

从日志信息可得是因为版本不一致导致的,无法获得namenode的版本。

经分析,是因为之前在master节点利用ant进行了fuse-dfs的编译,在hadoop的home目录下生成了build目录,而当hadoop启动时会优先选择build目录下的版本,build目录内容如下:


jar包名与原来的不一样了,多了SNAPSHOT字样。


3、解决方法:

其中一个解决方法是将maste节点的build目录拷贝到slave节点一份,可执行如下命令:

scp -r build root@Slave1.Hadoop:/home/zhangjianshun/hadoop-1.0.4/


再次start-all.sh启动hadoop,通过jps查看,datanode运行正常。


参考链接:

http://www.linuxidc.com/Linux/2012-07/65262.htm

### 检查 Hadoop 集群中 NameNodeDataNode 是否成功启动 可以通过以下几种方式确认 NameNodeDataNode 是否成功启动: #### 1. 查看日志文件 Hadoop 的日志文件通常位于 `$HADOOP_HOME/logs` 目录下。可以通过查看 `hadoop-<user>-namenode-<hostname>.log` 和 `hadoop-<user>-datanode-<hostname>.log` 文件,确认 NameNodeDataNode 是否正常启动。例如: ```bash tail -f /usr/local/hadoop/logs/hadoop-hadoop-namenode-centos01.log tail -f /usr/local/hadoop/logs/hadoop-hadoop-datanode-centos02.log ``` 如果日志中出现类似以下内容,表示 NameNodeDataNode 已成功启动: ``` INFO org.apache.hadoop.hdfs.server.namenode.NameNode: NameNode up at: centos01/192.168.1.101:8020 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: DataNode successfully started ``` #### 2. 使用 `jps` 命令 在 NameNode 节点上运行以下命令: ```bash jps ``` 如果看到 `NameNode` 进程,表示 NameNode 已成功启动: ``` 12345 NameNode ``` 在 DataNode 节点上运行相同命令: ```bash jps ``` 如果看到 `DataNode` 进程,表示 DataNode 已成功启动: ``` 67890 DataNode ``` #### 3. 使用 Hadoop 命令行工具 可以通过 `hdfs` 命令行工具检查集群状态。运行以下命令查看集群报告: ```bash hdfs dfsadmin -report ``` 如果命令输出中显示了所有 DataNode 的信息,并且状态为 `In Service`,则表示 NameNodeDataNode 已成功启动并正常通信: ``` Configured Capacity: 1000000000000 DFS Used: 1000000000 Non DFS Used: 1000000000 DFS Remaining: 998000000000 DFS Used%: 0.1% DFS Remaining%: 99.9% Live datanodes (3): Name: 192.168.1.102:50010 (centos02) Hostname: centos02 Decommission Status : Normal Configured Capacity: 333333333333 DFS Used: 333333333 Non DFS Used: 333333333 DFS Remaining: 332666666666 DFS Used%: 0.1% DFS Remaining%: 99.9% Last contact: Sun Apr 07 10:00:00 UTC 2024 ``` #### 4. 检查 Web 界面 Hadoop 提供了基于 Web 的用户界面,可以通过浏览器访问 NameNodeDataNode 的状态页面。默认情况下,NameNode 的 Web 界面运行在以下地址: ``` http://<namenode-host>:50070 ``` 在该页面上,可以查看 NameNode 的状态以及所有连接的 DataNode 列表。如果看到所有 DataNode 的状态为 `Active`,则表示 NameNodeDataNode 已成功启动并正常通信[^3]。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值