大数据面试题整理——HDFS

大数据面试题整理

第一章 HDFS面试题
第二章 MapReduce面试题

---

---

一、请简要介绍一下 HDFS。

您好，HDFS 即 Hadoop 分布式文件系统，它在大数据处理中起着至关重要的作用。HDFS 采用主从架构，主要由一个 NameNode 和多个 DataNode 组成。NameNode 负责管理整个文件系统的元数据，包括文件的目录结构、文件名以及文件块的位置信息等。而 DataNode 则实际存储数据块。HDFS 具有高容错性，通过数据冗余存储多个副本来确保数据的可靠性，非常适合处理大规模的数据，并且采用流式数据访问模式，即一次写入多次读取，这种模式特别适合批处理作业。同时，它可以在廉价的硬件上运行，降低了成本。

二、HDFS 的主要特点有哪些？

首先，高容错性是 HDFS 的一大特点。文件被分割成数据块存储在不同的 DataNode 上，每个数据块都有多个副本，这样即使某个 DataNode 出现故障，数据仍然可以从其他副本中恢复。其次，它能处理大规模数据，无论是 PB 级还是更大规模的数据都能轻松应对。再者，流式数据访问模式使得它在大数据批处理场景中表现出色。最后，HDFS 可以运行在普通的商用服务器上，无需昂贵的高端硬件设备，大大降低了成本。

三、说说 HDFS 的架构，以及 NameNode 和 DataNode 的作用。

HDFS 的架构是主从式的。NameNode 就像是文件系统的大脑，它管理着文件系统的命名空间，掌控着所有文件和目录的信息，处理客户端对文件系统元数据的操作请求，比如创建、删除、重命名文件或目录等。同时，它还负责监控 DataNode 的状态，通过接收 DataNode 的心跳和块报告来确保整个系统的正常运行。而 DataNode 则是具体干活的，它们存储实际的数据块，执行来自 NameNode 的读写操作指令，并且定期向 NameNode 发送心跳和快报告，以告知 NameNode 自己的状态以及所存储的数据块信息。

四、什么是心跳机制？