B05 - 023、HDFS设计目标

最新推荐文章于 2021-07-07 17:19:32 发布

原创

最新推荐文章于 2021-07-07 17:19:32 发布 · 200 阅读

CC 4.0 BY-SA版权

文章标签：

HDFS的核心设计目标包括故障检测和自动快速恢复，适合批量处理大数据，提供高吞吐量而非低延迟，支持大文件存储，以及write-once-read-many的访问模型。此外，HDFS强调计算向数据移动以提高效率，并确保跨硬件和软件平台的可移植性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

注：优快云手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

一、HDFS设计目标

硬件故障是常态， HDFS 将有成百上千的服务器组成，每一个组成部分都有可能出现故障。
因此故障的检测和自动快速恢复是 HDFS 的核心架构目标。
…
HDFS 上的应用与一般的应用不同，它们主要是以流式读取数据。
HDFS 被设计成适合批量处理，而不是用户交互式的。
相较于数据访问的反应时间，更注重数据访问的高吞吐量。
…
典型的 HDFS 文件大小是 GB 到 TB 的级别。
所以，HDFS 被调整成支持大文件。
它应该提供很高的聚合数据带宽，一个集群中支持数百个节点，一个集群中还应该支持千万级别的文件。
…