
hadoop
农村外出务工男
不创出另一片天地,不删此状态
展开
-
Hadoop NameNode 高可用实现源码分析
一、NameNode的单节点问题 在hadoop1.x版本中,我们知道HDFS架构中的NameNode节点存在单点问题,一旦NameNode节点宕机了,整个HDFS集群将不可用,因为NameNode保存了整个HDFS的元数据信息。不过在Hadoop2.x版本解决了单点问题,下面我们结合源代码来分析其具体实现。二、NameNode的高可用架构 先上一张图片(来源于网络) 从上图可...原创 2018-03-20 09:51:45 · 1646 阅读 · 1 评论 -
Hdfs 架构浅析
导读:最近因工作需要,学习了下hdfs,将学习笔记分享出来,与大家共勉,也欢迎大家指正。一、HDFS的特点 1:一次写入,多次读取:HDFS适合一次写入多次读取的模式,不支持对文件系统进行大量的随机修改。简化数据一致性处理。 2:适合批量处理文件,不建议大量存储小文件,其更倾向于高吞吐而不是低延迟。 3:成本低廉,廉价的机器就可以组成一个大集群。二、HDFS的架构 ...原创 2018-03-20 09:54:34 · 593 阅读 · 0 评论