HDFS小坑

最新推荐文章于 2024-09-08 09:55:46 发布

水水水水月

最新推荐文章于 2024-09-08 09:55:46 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/yuki91612/article/details/70208082

hadoop 专栏收录该内容

4 篇文章

订阅专栏

本文分享了在本地IDE环境中测试HDFS文件写入时遇到的问题及解决办法，包括配置FileSystem实现类和调整HDFS连接端口。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

因为需要对HDFS上的文件进行写入，所以需要在本地进行测试。

在运行《权威指南》例3-2的样例程序时，遇到一些问题。

像我这种懒人肯定懒得打包再命令行，所以直接在IDE里运行的。遇到两个小坑。

1-当HDFS路径参数指定为：“hdfs：//localhost/1.txt”时，程序报错 No FileSystem for scheme: hdfs.

经过查询发现，由于hadoop-hdfs和hadoop-common中均存在org.apache.hadoop.fd.FileSystem，

common中的FileSystem：

org.apache.hadoop.fs.LocalFileSystem
org.apache.hadoop.fs.viewfs.ViewFileSystem
org.apache.hadoop.fs.ftp.FTPFileSystem
org.apache.hadoop.fs.HarFileSystem

hdfs中的fileSystem：

org.apache.hadoop.hdfs.DistributedFileSystem
org.apache.hadoop.hdfs.web.HftpFileSystem
org.apache.hadoop.hdfs.web.HsftpFileSystem
org.apache.hadoop.hdfs.web.WebHdfsFileSystem
org.apache.hadoop.hdfs.web.SWebHdfsFileSystem

需要在configuration中指定

conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

2-在指定后，开始报第二个错误，

Call From localhost/127.0.0.1 to localhost:8020 failed on connection exception

端口错误，在网上查了一圈端口，我是按照《权威指南》布的伪分布式，即在core-site.xml中的设置为：

<configuration>
   <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:/</value>
   </property>
</configuration>

报错后，将value改为hdfs://localhost:8020/就好使了。

这个让我稍微有点迷，因为8020应该是默认的端口。希望随着学习的深入，可以了解。这篇就先写到这里。