HDFS的9870端口与8020端口

在 Hadoop 分布式文件系统（HDFS）中，v1:9870 和 hdfs://v1:8020 是两个不同的服务端口，分别用于不同的目的：

1. v1:9870

9870 是 HDFS 的 Web UI（用户界面）端口。通过这个端口，你可以访问 HDFS 的 Web 界面，查看文件系统的状态、文件和目录的详细信息，以及执行一些基本的文件操作。这个端口通常用于监控和管理 HDFS。

例如，你可以在浏览器中访问 http://v1:9870 来查看 HDFS 的 Web UI。

2. hdfs://v1:8020

8020 是 HDFS 的 RPC（Remote Procedure Call）通信端口。这个端口用于 HDFS 客户端与 NameNode 之间的通信，执行文件系统的操作，如读取文件、写入文件、创建目录等。在代码中，当你使用 hdfs://v1:8020 时，你是在通过 RPC 协议与 HDFS 交互。

例如，以下代码使用 hdfs://v1:8020 来读取 HDFS 中的文件：

file_rdd = sc.textFile("hdfs://v1:8020/user/local/person2/person2.txt")

为什么使用不同的端口？

• 9870 是用于 Web UI 的端口，主要用于监控和管理 HDFS。

• 8020 是用于 HDFS 客户端与 NameNode 之间的 RPC 通信端口，用于执行文件系统的操作。

示例

1. 访问 HDFS Web UI：

   • 打开浏览器，访问 http://v1:9870。

   • 你将看到 HDFS 的 Web 界面，可以查看文件系统的状态和文件。

2. 读取 HDFS 文件：

   • 在代码中，使用 hdfs://v1:8020 来指定 HDFS 的 RPC 通信地址。

   • 例如：

     Python复制

     file_rdd = sc.textFile("hdfs://v1:8020/user/local/person2/person2.txt")

总结

• v1:9870：用于访问 HDFS 的 Web UI，主要用于监控和管理。

• hdfs://v1:8020：用于 HDFS 客户端与 NameNode 之间的 RPC 通信，用于执行文件系统的操作。

如果你在使用 HDFS 时遇到问题，可以检查这两个端口是否正常工作，以及 HDFS 服务是否已启动