All directories in dfs.data.dir are invalid.

最新推荐文章于 2020-08-30 15:59:30 发布

转载最新推荐文章于 2020-08-30 15:59:30 发布 · 210 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/HIJAY/blog/318694

文章标签：

#大数据

本文针对Hadoop集群搭建过程中出现的异常情况进行了解析，并详细介绍了Alldirectoriesindfs.data.dirareinvalid.这一错误的原因及解决办法。指出dfs.data.dir目录的权限问题可能导致该错误发生，正确的权限设置应当为755。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为什么80%的码农都做不了架构师？>>>

org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.

hadoop集群搭建时，会遇见很多奇奇怪怪的异常。如上异常。

引发原因：

dfs.data.dir目录的权限问题。所有权限应该为755.

转载于:https://my.oschina.net/HIJAY/blog/318694

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_34384681

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid

蔡先生的专栏

01-22

3394

几天前配置好了hadoop1.2.1，一直好好的。自从更改了core-site.xml中的hadoop.tmp.dir为/home/caiyong/hadoop_tmp后，启动hadoop，jps查看只有5个进程，DataNode始终不见，重启了几次还是看不到DataNode进程。查看日志发现如下错误： 2015-01-22 11:48:55,063 INFO org.apache.hadoop

Hdfs datanode启动问题

tina_j的专栏

03-06

1348

场景：项目组6个节点中，某一节点硬盘寿命到了，由于当时硬盘做的raid0，没有备份，更换新硬盘后，启动datanode遇到如下问题： 1. 更换硬盘前，停止datanode，停止在此节点上应用； 2. 停止机器，更换硬盘 3. 重启机器，重启datanode，遇到问题 3.1 WARN org.apache.hadoop.hdfs.server.datanode.DataNode:...

参与评论您还未登录，请先登录后发表或查看评论

Hadoop Datanode节点无法启动（All directories in dfs.data.dir are invalid）

曹世超的专栏

11-13

8246

查看日志： [root@slave01 mapred]# tail -100 /opt/modules/hadoop/hadoop-1.0.3/libexec/../logs/hadoop-hadoop-datanode-slave01.log 2013-11-12 19:19:22,650 INFO org.apache.hadoop.hdfs.server.datanode.DataNod

hadoop datanode启动失败（All directories in dfs.data.dir are invalid）

dgit3228的博客

04-17

297

由于hadoop节点的磁盘满了，导致节点死掉，今天对其进行扩容。首先，将原节点的数据拷贝到目标节点下，从而避免数据的丢失，但是在执行hadoop_daemon.sh start datanode后没有启动datanode，查看log如下： 2014-04-17 11:44:06,200 WARN org.apache.hadoop.hdfs.server.datanode....

org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain java.io.IOException: All directories in dfs.datanode.data.dir are invalid: "/data/dfs/dn/"如何解决

最新发布

03-14

嗯，用户遇到了Hadoop DataNode启动时的问题，错误信息是“All directories in dfs.datanode.data.dir are invalid: "/data/dfs/dn/"”。我需要帮他分析可能的原因和解决方法。首先，我应该回忆一下Hadoop的DataNode...

Hadoop_3.X.x 注意事项

底层码农

03-31

1万+

hadoop3 hdfs web端口改为9870 <property> <name>dfs.namenode.http-address</name> <value>0.0.0.0:9870</value> <description> The address and the base port where...

Hadoop HA集群配置问题记录

为了忘却的纪念

06-30

5561

打算用3个节点搭建一个HA 集群，规划如下 HA集群规划 NameNode DataNode JournalNode node1 是是是 ndoe2 是是是 node3 是是 hdfs-site.xml配置如下 dfs.replication

dfs.data.dir 配置导致datanode无法启动

lxpbs8851的专栏

12-14

1万+

在新装的hadoop集群中由于大意 dfs.data.dir参数所对应的目录没有建立导致该datanode没有起来：错误信息如下： 2012-12-14 12:17:50,463 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.propertie

Invalid Hadoop Runtime specified; please click 'Configure Hadoop install directory' or fill in libra

panjiao119的博客

04-16

3028

Invalid Hadoop Runtime specified; please click 'Configure Hadoop install directory' or fill in library location input field发生上述的错误原因是没有将解压的Hadoop安装包导入到EclipseWindow ->Preferences->选择Hadoop Map/R...

org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid dfs.datanode.data.dir /chunk : java.io.Fil

似水流年

01-26

1946

异常报错：org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid dfs.datanode.data.dir /chunk : java.io.FileNotFoundException: File file:/chunk does not exist 启动：sbin/ 解决方案： vi /e3base/hadoo

java.io.IOException: All specified directories are failed to load

q_all_is_well的博客

06-01

1136

2018-06-01 17:01:27,102 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /home/hadoop/app/tmp/dfs/data: namenode clusterID = CID-64018bcc-836c-4a42-92...

集群扩容DataNode报错：Invalid dfs.datanode.data.dir /data2/hadoop/hdfs/data : EPERM: Operation not permitt

周源的专栏

09-17

5879

刚开始尝试修改一个集群节点进行扩容，然后修改了配置参数文件dfs.datanode.data.dir参数后面追加挂载的数据目录，发现启动时正常，后面索性多修改几个节点发现集群后面修改的DataNode全部启动报错（日志记录在/var/log/hadoop/dfs/hadoop-hdfs-datanode-*.log）： Too many failed volumes - current va

hadoop常见错误及处理方法

热门推荐

yonghutwo的专栏

06-30

5万+

如果大家在安装的时候遇到问题，或者按步骤安装完后却不能运行Hadoop，那么建议仔细查看日志信息，Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。无论是启动，还是以后会经常用到的MapReduce中的每一个job，以及HDFS等相关信息，Hadoop均存有日志文件以供分析。 1、hadoop-root-datanode-master.log 中有如下错误：

hadoop关于dfs.datanode.data.dir下多个目录不均衡问题

milyhj123的博客

09-15

9413

hadoop的dfs.datanode.data.dir是设置datanode节点存储数据块文件的本地路径，通常可以设置多个，用逗号隔开： <property> <name>dfs.datanode.data.dir</name> <value>/var/local/dfs-data,/usr/local/hadoop/dfs-data</v...

Hadoop datanode 无法启动，报错：java.io.IOException: All specified directories are failed to load.

萌萌小七的专栏

06-28

8379

log中还会出现字样: There are 0 datanode(s) running and no node(s) are excluded in this operation. 可能是由于在关机的时候，按照正常顺序退出集群造成的，导致dfs中的id不同。进入dfs/data，修改VERSION文件即可，将version里面的内容修改成和master一直的。或者直

Hadoop 启动 HDFS DataNode 时报错：Invalid dfs.datanode.data.dir

Stay hungry, stay foolish !

08-30

2794

文章目录环境描述问题现象问题分析解决方案总结环境描述操作系统：CentOS 6.5 Hadoop：Apache Hadoop 2.7.7 HDFS Datanode 启动用户：hdfs 问题现象使用 $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs start datanode 启动 datanode 后，通过jps发现并没有 datanode 进程，在 datanode 日志中存在以下报错信