hadoop启动出现异常 java.io.IOException: Incompatible namespaceIDs in

<span style="font-size:18px;"> </span>

启动hadoop前,需要先对namenode格式化

     

bin/hadoop  namenode  -format
bin/start-all.sh



启动后,有时会出现下面的类似异常:

 

<span style="font-size:18px;">2014-07-14 22:34:49,364 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /ho
me/huangjinhui/hadoop/hadoop-huangjinhui/dfs/data: namenode namespaceID = 1146077961; datanode namespaceID = 1706635767
        at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:233)
        at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:148)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:298)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:216)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1283)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1238)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1246)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1368)

  

</span>


原因是bin/hadoop  namenode  -format 每次会重新创建一个namenodeId,
保存数据的目录没有删除还下包含了上次format下的id,
namenode -format清空了namenode下的数据,但是没有清空datanode下的数据,
导致启动时失败,所要做的就是每次fotmat前,清空保存数据的目录一下的所有目录;


保存数据的目录默认是 tmp/dfs/data,可以在core-site.xml文件中重新配置保存数据的目录,比如:
  

  <property>  
        <name>hadoop.tmp.dir</name>  
        <value>
    /home/huangjinhui/hadoop/hadoop-${user.name}
     </value>  
   </property> 


  
  
  
  

<think>好的,我现在需要解决用户遇到的Hadoop 2.7.3中的“No FileSystem for scheme: hdfs”错误。用户提到在运行Java程序时出现了这个异常,并且引用了相关的错误信息和依赖配置。首先,我得理解这个错误的根本原因。 根据Hadoop的文档,FileSystem的实现是通过Java的ServiceLoader机制动态加载的。每个FileSystem实现需要在META-INF/services目录下有一个配置文件,名为org.apache.hadoop.fs.FileSystem,里面列出了该模块提供的FileSystem类。例如,hdfs模块对应的类可能是org.apache.hadoop.hdfs.DistributedFileSystem。如果这个配置文件缺失或者配置不正确,Hadoop客户端就无法识别hdfs协议,从而抛出“No FileSystem for scheme: hdfs”的错误[^1][^2]。 用户提供的引用显示,他们原本的POM文件中只包含了hadoop-common的2.7.0版本依赖。而hadoop-common的jar包中确实包含了一些FileSystem的实现,比如LocalFileSystem、ViewFileSystem等,但根据引用[1],hadoop-common-2.7.3.jar里并没有包含HDFS的FileSystem类,如DistributedFileSystem。HDFS的FileSystem实现通常位于hadoop-hdfs模块中。因此,用户的项目可能缺少了hadoop-hdfs的依赖,导致无法加载hdfs协议对应的FileSystem[^1][^4]。 接下来,我需要检查用户的依赖配置。用户原本的POM只有hadoop-common,版本为2.7.0,而Hadoop环境是2.7.3。版本不一致可能导致兼容性问题,比如某些类或配置文件在不同版本间有差异。例如,hadoop-common 2.7.0的META-INF/services/org.apache.hadoop.fs.FileSystem可能不包含HDFS的相关配置,或者路径发生了变化。因此,用户需要确保所有Hadoop依赖的版本一致,并且包含hadoop-hdfs模块。 解决方案的第一步应该是将hadoop-common的版本升级到2.7.3,与Hadoop环境保持一致,并添加hadoop-hdfs的依赖。这可以确保所需的DistributedFileSystem类被正确引入,同时对应的服务配置文件也会包含在classpath中。此外,用户可能还需要检查其他相关依赖,比如hadoop-client,它通常会传递依赖hadoop-hdfs和hadoop-common,但有时候显式声明更可靠。 另外,用户需要确认项目构建时,这些依赖的jar包确实被包含进去。有时候,Maven可能因为范围(scope)设置或依赖冲突导致某些jar未被正确打包。运行mvn dependency:tree可以帮助检查依赖树,确保hadoop-hdfs-2.7.3.jar被包含。 还有一个可能性是权限问题,如引用[3]中提到的Permission denied错误,但这通常出现在启动守护进程时,而用户的错误是在Java程序中访问HDFS时发生的,因此更可能与类路径配置有关,而不是运行权限。 总结下来,用户需要调整Maven依赖,添加hadoop-hdfs并统一版本号,同时检查服务配置文件是否正确存在于classpath中。</think>### Hadoop 2.7.3中"java.io.IOException: No FileSystem for scheme: hdfs"解决方案 #### 问题原因 该错误表明Hadoop客户端无法识别`hdfs://`协议,**核心原因是缺少HDFS文件系统实现类的注册**。Hadoop通过`META-INF/services/org.apache.hadoop.fs.FileSystem`配置文件加载协议与实现类的映射关系。若未包含`hadoop-hdfs`依赖,配置文件中将缺少以下关键行: ``` org.apache.hadoop.hdfs.DistributedFileSystem ``` #### 解决步骤 1. **添加HDFS依赖** 修改Maven POM文件,确保版本与Hadoop环境一致(2.7.3): ```xml <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.3</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.7.3</version> </dependency> ``` 2. **验证依赖传递** 执行命令检查依赖树: ```bash mvn dependency:tree ``` 确认输出中包含: ``` org.apache.hadoop:hadoop-hdfs:jar:2.7.3 ``` 3. **检查服务配置文件** 解压`hadoop-hdfs-2.7.3.jar`,确认存在文件: ``` META-INF/services/org.apache.hadoop.fs.FileSystem ``` 文件内容需包含: ``` org.apache.hadoop.hdfs.DistributedFileSystem ``` 4. **配置核心参数(可选)** 在代码中显式设置文件系统实现: ```java Configuration conf = new Configuration(); conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem"); ``` #### 原理说明 Hadoop通过**Java SPI机制**加载文件系统实现。当调用`FileSystem.get(URI.create("hdfs://..."), conf)`时,会从所有jar包的`META-INF/services`目录下合并配置,建立协议与实现类的映射表。缺少`hadoop-hdfs`依赖会导致映射表中无`hdfs`协议条目,从而触发该异常。 #### 扩展建议 若使用Hadoop客户端工具包,可直接引入: ```xml <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</version> </dependency> ``` 该依赖会**自动传递**引入`hadoop-common`和`hadoop-hdfs`。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值