datanode无法启动问题

jiedaodezhuti

于 2023-09-14 16:16:32 发布

阅读量171

点赞数

分类专栏： hadoop 文章标签：大数据

本文链接：https://blog.youkuaiyun.com/jiedaodezhuti/article/details/132881756

版权

hadoop 专栏收录该内容

79 篇文章

订阅专栏

文章描述了在处理大表数据时，遇到Spark任务和HDFSdatanode重启问题，涉及到日志调整引发的世界可写权限错误。作者通过chmodo-w命令修复了这个问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天在抽一个大表数据时,表得大小有1T+,需要跑spark任务对该表进行统计去重操作,由于表较大，而且spark临时文件也比较大，就修改了日志级别,对相关影响进行了重启,重启后发现datanode无法重启，一直报错,具体报错信息如下:

023-09-14 11:08:54,631 INFO  util.ExitUtil (ExitUtil.java:terminate(210)) - Exiting with status 1: java.io.IOException: The path component: '/' in '/var/lib/hadoop-hdfs/dn_socket' has permissions 0777 uid 0 and gid 0. It is not protected because it is world-writable. This might help: 'chmod o-w /'. For more information: https://wiki.apache.org/hadoop/SocketPathSecurity

根据报错，需要对根目录进行授权操作。

chmod o-w /

具体操作如下:

[root@starce hdfs]# pwd
/var/1og/hadoop/hdfs
[root@starca hdfs]chmod o-w /
[root@starce hdfs]#
[root@starca hdfs]# cd /

问题解决。