本文详细介绍了HDFS的设计特点，包括大数据文件、文件分块存储、流式数据访问等，并探讨了零拷贝技术和NameNode的角色。还阐述了HDFS的写入和读取过程，以及NameNode故障后的恢复策略，强调了安全模式和MapReduce的核心思想。
HDFS 原理分析
HDFS的设计特点是
- 大数据文件
- 文件分块存储
- 流式数据访问，一次写入多次读写
- 不支持动态改变文件内容，而是要求让文件一次写入就不做变化，要变化也只能在文件末添加内容
- 廉价硬件
- 硬件故障
- 利用DMA引擎的零拷贝技术进行文件的传输和同步。
什么是零拷贝
传统情况：
零拷贝技术：
什么是DMA？
DMA将一个内存区从一个设备复制到另外一个。当中央处理器初始化这个传输动作，传输动作本身是由DMA控制器来实行和完成。
HDFS的关键元素
Block：将一个文件进行分块，通常是64M。
NameNode：保存整个文件系统的目录信息、文件信息及分块信息，这是由唯一 一台主机专门保存
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
