4、HDFS 全面解析：接口、集群搭建与高级特性

HDFS 全面解析：接口、集群搭建与高级特性

1. HDFS 接口概述

HDFS 为文件系统用户提供了多种类型的接口，主要包括以下几种：
1. 文件系统 shell ：提供各种类似 shell 的命令，可直接与 HDFS 数据交互，还能访问 HFTP、S3 等其他存储系统的数据。
2. Java API ：最基础的 API，文件系统 shell 和其他多数接口内部都使用 Java API，许多运行在 HDFS 上的应用也会使用它。
3. WebHDFS ：通过 NameNode 提供 HTTP REST API，支持所有文件系统操作，包括 Kerberos 认证。可通过设置 dfs.webhdfs.enabled=true 启用。
4. libhdfs ：Hadoop 提供的 C 库，移植自 Java 文件系统接口，能访问任何类型的 Hadoop 文件系统，通过 Java 本地接口（JNI）调用用 Java 实现的文件系统客户端。不过，由于开发延迟，Java 客户端提供的部分 API 在 libhdfs 中未完全实现，Apache 项目分发的预构建二进制文件是 32 位的，若在其他平台使用，需自行构建。

2. 命令行接口和 Java API 的基本使用

2.1 命令行接口

命令行接口最初由 bin/hdfs 脚本提供，但已弃用，当前通过 bin/hadoop fs <args>