6、Hadoop存储：架构、接口、格式与操作全解析

Hadoop存储：架构、接口、格式与操作全解析

1. Hadoop文件系统概述

Hadoop对文件系统有着较为抽象的概念，HDFS只是 org.apache.hadoop.fs.FileSystem Java抽象类的几种实现之一。以下是一些可用文件系统的总结：
| 文件系统 | URI方案 | Java实现类 |
| ---- | ---- | ---- |
| 本地 | file | org.apache.hadoop.fs.LocalFileSystem |
| HDFS | hdfs | org.apache.hadoop.hdfs.DistributedFileSystem |
| S3（原生） | s3n | org.apache.hadoop.fs.s3native.NativeS3FileSystem |
| S3（基于块） | s3 | org.apache.hadoop.fs.s3.S3FileSystem |

S3文件系统有两种实现。原生的 s3n 用于读写常规文件，使用 s3n 存储的数据可被任何工具访问，反之也可读取其他S3工具生成的数据，但 s3n 无法处理大于5TB的文件或重命名操作。基于块的S3文件系统类似于HDFS，将文件分块存储，需要一个专用的S3存储桶，可存储大于5TB的文件，支持重命名操作，但与其他S3工具不兼容。

2. Hadoop接口

Hadoop用Java编写，与系统的所有交互都通过Java API进行。之前示例中使用的