【Hadoop】Hadoop/Yarn中hdfs与mapreduce相关问题汇总

本文链接：https://blog.youkuaiyun.com/zwan0518/article/details/9164449

本文总结了Hadoop在启动和运行过程中遇到的HDFS及MapReduce相关问题，包括HDFS健康状态问题、NameNode安全模式、权限错误以及MapReduce任务复制失败等，并提供了相应的解决方案，帮助用户解决Hadoop集群中的常见故障。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在hadoop启动的时候，会出现各种各样的问题，NameNode，JobTracker等各个模块都会有莫名奇妙的问题出现，在这里对hdfs的问题进行一下简单的记录。

注：问题无先后次序，可能这次没遇到下次又遇到，所以统一记录在次

一：HDFS问题

1：HDFS initialized but not 'healthy' yet, waiting...

这个日志会在启动hadoop的时候在JobTracker的log日志文件中出现，在这里就是hdfs出现问题，导致DataNode无法启动，这里唯一的解决方式就是把所有的NameNode管理的路径下的文件删除然后重新执行namenode -format，而删除的地方主要有存放临时数据的tmp路径，存放数据的data路径还有name路径，全部删除之后重新format次问题就解决了

2：在执行hadoop程序的时候出现Name node is in safe mode

这个异常一般就直接会在IDE的控制台输出，这个错误的主要导致原因是，datanode不停在丢失数据，所以此时namenode就强制本身进入safe mode模式，在该模式下对数据只可以进行读操作而不能进行写操作。解决此异常很简单，直接执行命令让namenode离开次模式就可以了。./hadoop dfsadmin-safemode leave

3：原来hadoop一直可以正常启动，有天在启动之后查看namenode的log发现如下in_use.lock (Permission denied)错误日志：

INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
>> 1INFO metrics.FSNamesystemMetrics: Initializing
>> FSNamesystemMetrics using context
>> object:org.apache.hadoop.metrics.spi.NoEmitMetricsContext
ERROR namenode.FSNamesystem: FSNamesystem initialization failed. java.io.FileNotFoundException: /var/lib/hadoop-0.20/cache/hadoop/dfs/name/in_use.lock (Permission denied)
>> at java.io.RandomAccessFile.open(Native Method)
>> at java.io.RandomAccessFile.<init>(RandomAccessFile.java:216)
>> at
>> org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.tryLock(Storage.java:614)
>> at
>> org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.lock(Storage.java:591)
>> at
>> org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.analyzeStorage(Storage.java:449)
>> at
>> org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:304)
>> at
>> org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:110)
>> at
>> org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:372)
>> at
>> org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:335)
>> at
>> org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:271)
>> at
>> org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:467)
>> at
>