Hadoop 面试题（一）

1. 简述Hadoop核心组件 ？

Hadoop是一个开源的分布式计算平台，其核心组件主要包括以下几个方面：

1. HDFS (Hadoop Distributed File System)：

   • 一个分布式文件系统，用于在廉价的硬件上存储和管理大量数据。

2. MapReduce：

   • 一个编程模型和软件框架，用于处理和生成大数据集，通过Map（映射）和Reduce（归约）两个步骤实现数据处理。

3. YARN (Yet Another Resource Negotiator)：

   • 一个资源管理平台，用于协调不同计算任务的资源分配，是Hadoop集群的中央调度器。

4. Hadoop Common：

   • 包含Hadoop生态系统中所有项目共有的一些Java库和工具。

5. NameNode：

   • HDFS中的主节点，负责管理文件系统的命名空间和客户端对文件的访问。

6. DataNode：

   • HDFS中的工作节点，负责存储实际的数据块，并根据NameNode的指令进行数据块的复制和删除。

7. ResourceManager：

   • YARN的中心组件，负责管理集群资源和调度作业。

8. NodeManager：

   • YARN中的工作节点组件，负责管理单个节点上的计算资源和任务执行。

9. JobTracker（在Hadoop 1.x中）：

   • 在Hadoop 1.x版本中负责作业的调度和监控，已被YARN的ResourceManager和NodeManager取代。

10. Secondary NameNode：

    • 辅助NameNode的节点，用于合并EditLog和FsImage，减轻NameNode的负担。

11. Hadoop Daemons：

    • 包括NameNode、DataNode、ResourceManager、NodeManager等守护进程，它们是Hadoop集群的后台服务。

12. Hadoop Command-line Interface (CLI)：

    • 提供了一系列命令行工具，用于与Hadoop集群交互。

13. Hadoop Libraries：

    • 包括用于处理数据的库，如用于序列化和反序列化的库。

这些组件共同构成了Hadoop生态系统的基础，使其能够高效地处理和分析大规模数据集。随着Hadoop的发展，还出现了许多其他组件和工具，如HBase、Hive、Pig等，它们扩展了Hadoop的功能，使其更加强大和灵活。

2. 简述Hadoop的特点 ？

Hadoop是一个开源的分布式计算平台，主要用于处理和存储大量数据。以下是Hadoop的一些主要特点：

1. 可扩展性：

   • Hadoop可以水平扩展，从单一服务器到数千个节点的集群。

2. 高可靠性：

   • 通过数据复制和自动故障检测与恢复，Hadoop提供了高可靠性。

3. 高吞吐量：

   • 优化了对大规模数据集的访问，提供高吞吐量的数据访问和处理。

4. 数据并行&