4、探索Hadoop分布式文件系统（HDFS）

探索Hadoop分布式文件系统（HDFS）

1. HDFS简介

Hadoop分布式文件系统（HDFS）是一种基于Java的分布式文件系统，专为在普通硬件设备上运行而设计。它主要用于在分布式商品机器上存储大数据，并且由于数据的分布式处理，能够更快地完成任务。HDFS的基本构成包括一个名称节点（NameNode，即主节点）和一群数据节点（DataNodes，即从节点）。HDFS中的文件会被分割成块（blocks），每一块是最小的读写单位，默认大小通常是64MB。

HDFS的设计目标是：

• 硬件故障恢复 ：Hadoop集群可能连接着数百或数千台机器，因此节点发生故障的可能性较大。HDFS的核心架构目标之一是检测故障并快速自动恢复。
• 大数据集 ：HDFS应能处理大规模的数据集，从GB到TB甚至更大的文件。
• 流式数据访问 ：HDFS更适用于批处理而不是交互式应用，因此它应该提供高吞吐量的数据访问。
• 移动计算 ：如果数据集非常庞大，最好将计算迁移到数据所在的位置，以提高效率。