本文详细介绍了Hadoop集群中的SecondaryNameNode和DataNode。SecondaryNameNode主要负责周期性合并edits文件到fsimage，执行checkpoint操作。在HA架构中，此功能由standby NameNode承担。DataNode作为数据存储节点，管理block和replication。HDFS的Block是读写数据的基本单位，DataNode根据dfs.datanode.data.dir配置存储数据。默认情况下，每个文件至少有一个副本，副本数可通过dfs.replication配置。NameNode则维护文件到block及block到DataNode的映射关系。
一、SecondaryNameNode介绍
刚才在分析edits日志文件的时候我们已经针对SecondaryNameNode做了介绍，在这里再做一个总结，以示重视。
SecondaryNameNode主要负责定期的把edits文件中的内容合并到fsimage中
这个合并操作称为checkpoint，在合并的时候会对edits中的内容进行转换，生成新的内容保存到fsimage文件中。
注意：在NameNode的HA架构中没有SecondaryNameNode进程，文件合并操作会由standby NameNode负责实现
所以在Hadoop集群中，SecondaryNameNode进程并不是必须的。
二、DataNode介绍
DataNode是提供真实文件数据的存储服务
针对datanode主要掌握两个概念，一个是block，一个是replication
首先是block
HDFS会按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block，HDFS默认Block大小是 128MB
Blokc块是HDFS读写数据的基本单位，不管你的文件是文本文件 还是视频 或者音频文件，针对hdfs而言 都是字节。
我们之前上传的一个user.txt文件，他的
订阅专栏 解锁全文
扫一扫
642
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
