hadoop 用户创建data目录时 DataNode无法启动

最新推荐文章于 2021-10-12 16:45:07 发布

原创最新推荐文章于 2021-10-12 16:45:07 发布 · 4.9k 阅读

1 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

6 篇文章

订阅专栏

在Centos 6.4环境下，使用hadoop 0.20.205时，通过hadoop用户创建data目录会导致DataNode无法启动。日志显示权限错误，预期为rwxr-xr-x，实际为rwxrwxr-x。解决方案是将目录权限更改为755。使用root用户创建目录则不会出现此问题，提醒我们在Hadoop配置中要注意文件权限和用户组设置，确保服务正常运行。

场景：Centos 6.4 X64

hadoop 0.20.205

配置文件

hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>


<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/hdfs/name</value>
</property>

<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/hdfs/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

在创建dfs.data.dir所用的data目录时，直接用hadoop用户创建，

mkidr -p /usr/local/hdoop/hdfs/data

然后，格式化，启动时，namenode节点都可以启动

在Datanode上执行jps时，

[hadoop@DataNode1 local]# jps
6763 TaskTracker
6816 Jps

没有datanode的进程，不论怎么格式化，都无法使DataNode进程出现

后面，去查看DataNode1节点上的日志

2013-04-10 20:50:49,100 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /usr/local/hadoop/hdfs/data, expected: rwxr-xr-x, while actual: rwxrwxr-x
2013-04-10 20:50:49,100 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.

提示权限不符合要求

chmod 755 /usr/local/hadoop/hdfs/data

重新启动

[hadoop@DataNode1 data]$ jps
7398 TaskTracker
7291 DataNode
7707 Jps

DataNode出现

为了核实root用户和hadoop用户的创建文件夹的区别

[root@NameNode home]# mkdir data
[root@NameNode home]# ll
总用量 24
drwxr-xr-x. 2 root root 4096 4月 10 21:03 data
drwx------. 5 hadoop hadoop 4096 4月 10 20:45 hadoop
drwx------. 2 root root 16384 4月 8 09:28 lost+found

可以看到,root用户创建的文件夹权限符合要求

再用hadoop用户创建一个文件夹

[hadoop@NameNode ~]$ mkdir name
[hadoop@NameNode ~]$ ll
总用量 4
drwxrwxr-x. 2 hadoop hadoop 4096 4月 10 21:04 name
[hadoop@NameNode ~]$

权限变了，造成DataNode无法启动。

结语：开始为了不用修改文件夹的属主，就直接用hadoop用户创建文件夹，结果因权限的问题，造成DataNode无法启动。

收获：1、了解了不同用户组权限的不同，

2、遇到问题，一定要刨根问底，不能似是而非，否则，浪费了时间，自己却一知半解，这种状态是最坏的状态。

3、多查看日志，从日志中发现问题。