架构设计（17）大数据框架Hadoop与基础架构CDH

• Hadoop

Hadoop是一个开源的大数据处理框架，由Apache软件基金会开发。它主要用于存储和处理大规模数据集，能够在分布式计算环境中有效工作。以下是Hadoop的详细介绍，包括其核心组件、架构、特性和应用场景。

1. Hadoop的架构

Hadoop的架构分为两个主要部分：

• Hadoop分布式文件系统（HDFS）

  • 功能：HDFS是Hadoop的核心文件存储系统，旨在高效存储大数据。
  • 特点：
    • 分布式存储：数据被分割成块（通常是128MB或256MB），并分布在集群的多个节点上。
    • 容错性：每个数据块会被复制多个副本（默认是3个），以确保数据在节点故障时不丢失。
    • 高吞吐量：适合批量处理大文件，优化了大数据的读取和写入效率。

• MapReduce

  • 功能：MapReduce是Hadoop的计算模型ÿ