分布式存储原理
关注
分享
扫一扫
dmbds20
这个作者很懒，什么都没留下…
展开
-
高可用的完全分布式HDFS集群原理
1.什么是高可用的完全分布式HDFS？因为在完全分布式的HDFS集群中，如果NameNode挂掉了，整个集群就会停止工作，所以在高可用的完全分布式集群中增加了一个备用的NameNode节点。架构如图：2.各个角色的作用DataNode：存储block块，向Active NameNode汇报并发送心跳Active NameNode：正在工作的NameNode，作用有管理元数据，管理Dat...原创 2018-10-13 11:21:54 · 339 阅读 · 0 评论 -
大数据分布式存储原理
大数据基础1.什么是大数据短时间内快速的产生海量的多种多样的有价值的数据2.大数据技术2.1 分布式存储2.2 分布式计算① 分布式批处理（无法实现预测）存一段时间的数据，等到将来某一时刻时再进行处理② 分布式流处理（实时处理）（无法实现预测）数据不需要攒，直接处理，每产生一条数据，立马对这条数据进行处理。2.3 机器学习可以实现预测3.分布式存储原理3.1主要概念：元数...原创 2018-10-09 20:43:39 · 5639 阅读 · 0 评论