拷贝本地文件至HDFS异常：No FileSystem for scheme: file

最新推荐文章于 2023-09-01 17:22:11 发布

gmijie

最新推荐文章于 2023-09-01 17:22:11 发布

阅读量988

点赞数

CC 4.0 BY-SA版权

分类专栏： HDFS 文章标签： hdfs scheme exception

本文链接：https://blog.youkuaiyun.com/gmijie/article/details/53149361

HDFS 专栏收录该内容

1 篇文章

订阅专栏

在尝试从本地复制文件到HDFS时遇到异常：'No FileSystem for scheme: file'。异常发生在'FileSystem.getFileSystemClass()'方法中。解决这个问题的方法是在pom文件中添加相关依赖。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

具体异常信息：
=======copy file=======
Exception in thread “main” java.io.IOException: No FileSystem for scheme: file
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2644)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2651)
at org.apache.hadoop.fs.FileSystem.access $200(FileSystem.java:92) at org.apache.hadoop.fs.FileSystem$ Cache.getInternal(FileSystem.java:2687)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2669)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:371)
at org.apache.hadoop.fs.FileSystem.getLocal(FileSystem.java:342)
at org.apache.hadoop.fs.FileSystem.copyFromLocalFile(FileSystem.java:1965)
at org.apache.hadoop.fs.FileSystem.copyFromLocalFile(FileSystem.java:1933)
at org.apache.hadoop.fs.FileSystem.copyFromLocalFile(FileSystem.java:1898)
at com.mofeng.hdfsTest.OperatingFiles.copyFile(OperatingFiles.java:40)
at com.mofeng.hdfsTest.OperatingFiles.main(OperatingFiles.java:88)

解决办法：
需要在pom文件中添加：

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>1.2.1</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <transformers>
                                <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <mainClass>com.mofeng.hdfsTest.OperatingFiles</mainClass>
                                </transformer>
                                <transformer
                            implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer" />
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

内容中的

<transformer
                            implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer" />