【Spring Boot Web容器集成调用Hbase】 java.io.IOException: No FileSystem for scheme : hdfs

最新推荐文章于 2024-07-01 15:05:34 发布

wunanliu

最新推荐文章于 2024-07-01 15:05:34 发布

阅读量1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： Hadoop Hbase Spring Boot

本文链接：https://blog.youkuaiyun.com/weixin_38822045/article/details/96334194

Maven下项目使用没有任何问题，但是使用Spring boot 项目就出问题，怀疑是容器问题，查阅了相当多的资料，所有的大部分解决方案都是拷贝core-site.xml到本地项目中，然后将下列配置添加到core-site.xml配置文件中，然后重新编译项目，然后再进行PostMan访问，发现还是不行，同样报错

第一种，解决方案来源：https://blog.youkuaiyun.com/dufufd/article/details/74391221

【亲测无用】

<property>  
        <name>fs.hdfs.impl</name>  
        <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>  
        <description>The FileSystem for hdfs: uris.</description>  
</property>  
<property>  
        <name>fs.file.impl</name>  
        <value>org.apache.hadoop.fs.LocalFileSystem</value>  
        <description>The FileSystem for hdfs: uris.</description>  
</property>

java.io.IOException: No FileSystem for scheme : hdfs，但是不影响使用，但是作为一个程序猿，最不喜欢的就是异常，必须要解决掉。

第二种，解决方案来源：https://blog.youkuaiyun.com/hblfyla/article/details/71403679

【亲测无用】

conf.set("fs.hdfs.impl",org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());

第三种，解决方案来源：https://www.cnblogs.com/rocky-AGE-24/p/7532143.html

【亲测无用】

configuration.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

终极测试：

都测试到这里，博主本想放弃了，后来想想不行，我要死磕，我要解决掉这个问题，不急不躁，慢慢查百度，发现有可能是缺少hadoop-hdfs.jar，于是马上平台管理界面，查看Hadoop平台的版本，发现是2.7.1，【2.x版本兼容性最好的就是 2.4.0和2.7.1这两个版本】，于是马上去Maven官网地址，查找hadoop-hdfs的pom文件，选择2.7.1版本，加入到Spring Boot 项目中的Pom中

启动Spring Boot项目，然后通过PostMan进行调用，发现后台居然报错了，其中最现眼的就是 InvocationException和java.lang.NullPointException，仔细看了下异常的信息，发现其中NullPointException居然设计设计到Hbase-site.xml配置文件，中的命名空间出错的问题，提示HDP为NullPointException，下图HDP为空。

看到这里，博主第一反应就是，本地的Hosts没有映射服务器IP。于是马上打开本地C:\Windows\System32\drivers\etc\hosts配置文件

条件服务器的大数据集群的Namespace，将NameSpace全部映射到所有的集群服务器IP，因为NameSpace的名称是用来做HA的，所有最好映射所有服务器IP，然后你也可以映射NameNode所在的服务器IP，只能多，不能少，所以博主全部映射了一遍，包括本身的HostName 一共6个映射。【至此博主已经有种要成功的感觉了】

保存，退出，启动Spring boot项目，对控制层进行访问：

查看后台是否报错，发现异常信息都没有报错了，至此这个坑就填上了，No FileSystem for scheme : hdfs是因为缺少 hadoop-hdfs.jar的包，最好映射即可！！！

D:\Java1.8\bin\java.exe -XX:TieredStopAtLevel=1 -noverify -Dspring.output.ansi.enabled=always -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=56730 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=localhost -Dspring.liveBeansView.mbeanDomain -Dspring.application.admin.enabled=true "-javaagent:E:\IDEA workspace\IntelliJ IDEA 2018.3.2\lib\idea_rt.jar=56731:E:\IDEA workspace\IntelliJ IDEA 2018.3.2\bin" -Dfile.encoding=UTF-8 -classpath "D:\Java1.8\jre\lib\charsets.jar;D:\Java1.8\jre\lib\deploy.jar;D:\Java1.8\jre\lib\ext\access-bridge-32.jar;D:\Java1.8\jre\lib\ext\cldrdata.jar;D:\Java1.8\jre\lib\ext\dnsns.jar;D:\Java1.8\jre\lib\ext\jaccess.jar;D:\Java1.8\jre\lib\ext\jfxrt.jar;D:\Java1.8\jre\lib\ext\localedata.jar;D:\Java1.8\jre\lib\ext\nashorn.jar;D:\Java1.8\jre\lib\ext\sunec.jar;D:\Java1.8\jre\lib\ext\sunjce_provider.jar;D:\Java1.8\jre\lib\ext\sunmscapi.jar;D:\Java1.8\jre\lib\ext\sunpkcs11.jar;D:\Java1.8\jre\lib\ext\zipfs.jar;D:\Java1.8\jre\lib\javaws.jar;D:\Java1.8\jre\lib\jce.jar;D:\Java1.8\jre\lib\jfr.jar;D:\Java1.8\jre\lib\jfxswt.jar;D:\Java1.8\jre\lib\jsse.jar;D:\Java1.8\jre\lib\management-agent.jar;D:\Java1.8\jre\lib\plugin.jar;D:\Java1.8\jre\lib\resources.jar;D:\Java1.8\jre\lib\rt.jar;E:\Idea work-space\Hbase\demo\target\classes;C:\Users\pc\.m2\repository\org\springframework\boot\spring-boot-starter-web\2.1.6.RELEASE\spring-boot-starter-web-2.1.6.RELEASE.jar;C:\Users\pc\.m2\repository\org\springframework\boot\spring-boot-starter\2.1.6.RELEASE\spring-boot-starter-2.1.6.RELEASE.jar;C:\Users\pc\.m2\repository\org\springframework\boot\spring-boot\2.1.6.RELEASE\spring-boot-2.1.6.RELEASE.jar;C:\Users\pc\.m2\repository\org\springframework\boot\spring-boot-autoconfigure\2.1.6.RELEASE\spring-boot-autoconfigure-2.1.6.RELEASE.jar;C:\Users\pc\.m2\repository\org\springframework\boot\spring-boot-starter-logging\2.1.6.RELEASE\spring-boot-starter-logging-2.1.6.RELEASE.jar;C:\Users\pc\.m2\repository\ch\qos\logback\logback-classic\1.2.3\logback-classic-1.2.3.jar;C:\Users\pc\.m2\repository\ch\qos\logback\logback-core\1.2.3\logback-core-1.2.3.jar;C:\Users\pc\.m2\repository\org\apache\logging\log4j\log4j-to-slf4j\2.11.2\log4j-to-slf4j-2.11.2.jar;C:\Users\pc\.m2\repository\org\apache\logging\log4j\log4j-api\2.11.2\log4j-api-2.11.2.jar;C:\Users\pc\.m2\repository\org\slf4j\jul-to-slf4j\1.7.26\jul-to-slf4j-1.7.26.jar;C:\Users\pc\.m2\repository\javax\annotation\javax.annotation-api\1.3.2\javax.annotation-api-1.3.2.jar;C:\Users\pc\.m2\repository\org\springframework\spring-core\5.1.8.RELEASE\spring-core-5.1.8.RELEASE.jar;C:\Users\pc\.m2\repository\org\springframework\spring-jcl\5.1.8.RELEASE\spring-jcl-5.1.8.RELEASE.jar;C:\Users\pc\.m2\repository\org\yaml\snakeyaml\1.23\snakeyaml-1.23.jar;C:\Users\pc\.m2\repository\org\springframework\boot\spring-boot-starter-json\2.1.6.RELEASE\spring-boot-starter-json-2.1.6.RELEASE.jar;C:\Users\pc\.m2\repository\com\fasterxml\jackson\core\jackson-databind\2.9.9\jackson-databind-2.9.9.jar;C:\Users\pc\.m2\repository\com\fasterxml\jackson\core\jackson-annotations\2.9.0\jackson-annotations-2.9.0.jar;C:\Users\pc\.m2\repository\com\fasterxml\jackson\core\jackson-core\2.9.9\jackson-core-2.9.9.jar;C:\Users\pc\.m2\repository\com\fasterxml\jackson\datatype\jackson-datatype-jdk8\2.9.9\jackson-datatype-jdk8-2.9.9.jar;C:\Users\pc\.m2\repository\com\fasterxml\jackson\datatype\jackson-datatype-jsr310\2.9.9\jackson-datatype-jsr310-2.9.9.jar;C:\Users\pc\.m2\repository\com\fasterxml\jackson\module\jackson-module-parameter-names\2.9.9\jackson-module-parameter-names-2.9.9.jar;C:\Users\pc\.m2\repository\org\springframework\boot\spring-boot-starter-tomcat\2.1.6.RELEASE\spring-boot-starter-tomcat-2.1.6.RELEASE.jar;C:\Users\pc\.m2\repository\org\apache\tomcat\embed\tomcat-embed-core\9.0.21\tomcat-embed-core-9.0.21.jar;C:\Users\pc\.m2\repository\org\apache\tomcat\embed\tomcat-embed-el\9.0.21\tomcat-embed-el-9.0.21.jar;C:\Users\pc\.m2\repository\org\apache\tomcat\embed\tomcat-embed-websocket\9.0.21\tomcat-embed-websocket-9.0.21.jar;C:\Users\pc\.m2\repository\org\hibernate\validator\hibernate-validator\6.0.17.Final\hibernate-validator-6.0.17.Final.jar;C:\Users\pc\.m2\repository\javax\validation\validation-api\2.0.1.Final\validation-api-2.0.1.Final.jar;C:\Users\pc\.m2\repository\org\jboss\logging\jboss-logging\3.3.2.Final\jboss-logging-3.3.2.Final.jar;C:\Use