Code · Cloud · Think · Repeat

ClientRMService 本质是 RPC Server（实现 ApplicationClientProtocol），给客户端提供 RPC 服务。ClientRMService 中保留了 RM 上下文对象 RMContext，中央异步调度器（AsyncDispatcher）通过 RMContext 来获取节点列表、队列组织和应用列表等信息来响应客户端请求。

现在我已经让您了解了 YARN 的必要性，接下来让我向您介绍 Hadoop 2.0 的核心组件 YARN。 YARN 允许图形处理、交互式处理、流处理以及批处理等不同的数据处理方法来运行和处理存储在 HDFS 中的数据。因此，YARN 将 Hadoop 开放给 MapReduce 之外的其他类型的分布式应用程序。

hdfs dfs -ls 表示 HDFS 中的 当前用户目录，即 /user/用户名。所以，hdfs dfs -ls 可以认为等价于 hdfs dfs -ls /user/用户名。

操作命令是以 hdfs dfs 开头的命令。通过这些命令，用户可以完成 HDFS 文件的复制、删除和查找等操作，Shell 命令的一般格式如下。

HDFS是 Hadoop 的分布式文件系统，旨在在廉价硬件上存储大型文件。它具有高度容错能力，并为应用程序提供高吞吐量。 HDFS 最适合那些拥有非常大数据集的应用程序。Hadoop HDFS 文件系统提供 Master 和 Slave 架构。主节点运行 Namenode 守护进程，从节点运行 Datanode 守护进程。

本篇文章将向大家介绍 Hadoop 生态系统的不同组件。也正是因为这些组件，使得 Hadoop 如此强大。通过学习 HDFS 和 HDFS组件、MapReduce、YARN、Hive、Pig、HBase 和 HBase组件、HCatalog、Avro、Thrift、Drill、Mahout、Sqoop、Flume、Ambari、Zookeeper 和 OOzie 等 Hadoop 生态系统组件，深入了解 Hadoop 生态系统。