记一次DataNode启动异常"Cannot lock storage /opt/hadoop/hdfs/data. The directory is already locked"

本文详细记录了一次在Ambari监控中遇到的Datanode节点异常重启问题,通过深入的日志分析,发现了磁盘挂载冲突导致的问题根源。文章分享了解决方案,包括如何正确卸载冲突磁盘并重新启动Datanode,为类似问题提供了实用的解决思路。

ambari上监控节点 发现有一台datanode节点启动后自动杀掉,查看日志发现如下报错:

显示目录被锁定了,分析可能是磁盘已满,df -h 检查磁盘情况,发现并无问题:

继续查看日志,发现新问题:

发现/data1目录也有问题,但是刚才查看磁盘,并未看见/data1目录挂载情况,因此使用lsblk继续查看:

问题一目了然:/opt和/data1目录共同挂载到/dev/sdb上了,所以对一个磁盘操作两次,导致“The directory is already lock"

解决方式:

卸载冲突磁盘、重新启动DataNode:

umount /data1

ambari上重新启动

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值