大数据框架和数仓高频面试题总结

Hadoop

1、HDFS的特性

master/slave 架构（主从架构）

HDFS 采⽤ master/slave 架构。⼀般⼀个 HDFS 集群是有⼀个 Namenode 和⼀定数⽬的Datanode 组成。 

分块存储

HDFS 中的⽂件在物理上是分块存储（block）的，块的⼤⼩可以通过配置参数来规定，默认⼤⼩ 在 hadoop2.x 版本中是 128M。

 名字空间（NameSpace）

HDFS ⽀持传统的层次型⽂件组织结构。⽤户或者应⽤程序可以创建⽬录，然后将⽂件保存在这些 ⽬录⾥。⽂件系统名字空间的层次结构和⼤多数现有的⽂件系统类似：⽤户可以创建、删除、移动 或重命名⽂件。 Namenode 负责维护⽂件系统的名字空间，任何对⽂件系统名字空间或属性的修改都将被 Namenode 记录下来。 HDFS 会给客户端提供⼀个统⼀的抽象⽬录树，客户端通过路径来访问⽂件，形如： hdfs://namenode:port/dir-a/dir-b/dir-c/file.data。 

副本机制

为了容错，⽂件的所有 block 都会有副本。每个⽂件的 block ⼤⼩和副本系数都是可配置的。应⽤ 程序可以指定某个⽂件的副本数⽬。副本系数可以在⽂件创建的时候指定，也可以在之后改变。