dfs.data.dir 配置导致datanode无法启动

最新推荐文章于 2024-05-12 21:07:27 发布

原创最新推荐文章于 2024-05-12 21:07:27 发布 · 1.3w 阅读

3 ·

CC 4.0 BY-SA版权

hadoop 专栏收录该内容

39 篇文章

订阅专栏

在新装的Hadoop集群中，由于未创建dfs.data.dir指定的目录，导致DataNode无法启动。错误日志显示问题在于目录不存在。解决方法包括在root用户下创建相应目录，赋予hadoop用户权限，并重新启动集群。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在新装的hadoop集群中由于大意

dfs.data.dir参数所对应的目录没有建立导致该datanode没有起来：

错误信息如下：

2012-12-14 12:17:50,463 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties

2012-12-14 12:17:50,475 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2012-12-14 12:17:50,477 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
2012-12-14 12:17:50,477 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started
2012-12-14 12:17:50,554 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered.
2012-12-14 12:17:50,587 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: can not create directory: /data/hdfs/data
2012-12-14 12:17:50,587 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
2012-12-14 12:17:50,587 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode

2012-12-14 12:17:50,588 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:

解决的办法：

在root用户下执行：

cd /

mkdir data

cd data

mkdir hdfs

cd hdfs

mkdir name data

chown -R hadoop:hadoop/data

chmod -R 755 /data

然后再重新启动整个新装的集群。