HDFS 理论讲解

任务描述

本关任务：根据相关知识内容完成右侧选择题。

相关知识

为了完成本关任务，你需要掌握： 1.HDFS 的背景； 2.HDFS 的概述； 3.HDFS 的优缺点； 4.HDFS 的基本架构。

HDFS 的背景

在大数据场景中，每天新增的数据量可能多达 GB 级别，甚至 TB 级，新增文件数据可能多达十万级别，为了应对数据存储扩容问题，存在两种解决方案：纵向扩展（scale-up）和横向扩展（scale-out）。纵向扩展利用现有的存储系统，通过不断增加存储容量来满足数据增长的需求；横向扩展则是以网络互连的节点为单位扩大存储容量（集群）。由于纵向扩展存在价格昂贵、升级困难以及总存在物理瓶颈（理论上，由于物理硬件的制约，单台设备总存在瓶颈）等问题，目前大数据领域通常会采用横向扩展方案。横向扩展的难点在于如何构建一个分布式文件系统，解决以下这些问题。

因故障导致丢失数据：横向扩展集群中采用的节点通常是普通的商用服务器，因机器故障、网络故障、人为事务、软件Bug 等原因导致服务器宕机过服务挂掉是常见的现象，这就要求分布式文件系统能很好地处理各种故障（即良好的容错性）。

文件通常较大：在大数据应用场景中，GB 级别的文件是很常见的，且这样的文件数量较多，这与传统文件系统的使用场景是很不同的，这要求分布式文件系统在 IO 操作以及块大小方面进