Hadoop HDFS FileSystem详解

最新推荐文章于 2023-04-17 10:47:14 发布

Markiry

最新推荐文章于 2023-04-17 10:47:14 发布

阅读量2.3k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop hdfs filesystem

本文链接：https://blog.youkuaiyun.com/foreverOver/article/details/41290073

本文详细介绍了Hadoop的分布式文件系统HDFS中的FileSystem抽象类。通过FileSystem的get方法获取HDFS实例，同时探讨了Hadoop如何支持多种第三方文件系统，如Amazon S3。通过分析get方法、createFileSystem方法及getFileSystemClass方法，揭示了Hadoop如何根据URI前缀加载具体实现类，实现文件系统的统一接口和灵活集成。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景介绍

Hadoop实现了一套分布式文件系统HDFS，当使用Hadoop的API进行开发，使用HDFS文件系统的时候，必定会用到Hadoop中的FileSystem抽象类，通过FileSystem类的get的方法获取FileSystem的实例，并通过该实例来进行文件系统的操作。

FileSystem fs = FileSystem.get(cfg);

对于该场景，我们可能会有如下疑问：

FileSystem是一个抽象类，那用来HDFS文件系统的具体实现类是哪一个呢？

通过FileSystem的get方法，是如何获取到HDFS文件系统实例的呢？

Hadoop并不仅支持HDFS文件系统，还支持非常多样的第三方文件系统，如：Amazon S3，当使用这些第三方文件系统的时候，也是用同样的方法来获取文件系统实例的，FileSystem是如何做到的呢？<