dmbds20的博客

1.什么是高可用的完全分布式HDFS？ 因为在完全分布式的HDFS集群中，如果NameNode挂掉了，整个集群就会停止工作，所以在高可用的完全分布式集群中增加了一个备用的NameNode节点。架构如图： 2.各个角色的作用 DataNode：存储block块，向Active NameNode汇报并发送心跳 Active NameNode：正在工作的NameNode，作用有管理元数据，管理Dat...

大数据基础 1.什么是大数据 短时间内快速的产生海量的多种多样的有价值的数据 2.大数据技术 2.1 分布式存储 2.2 分布式计算 ① 分布式批处理（无法实现预测） 存一段时间的数据，等到将来某一时刻时再进行处理 ② 分布式流处理（实时处理）（无法实现预测） 数据不需要攒，直接处理，每产生一条数据，立马对这条数据进行处理。 2.3 机器学习 可以实现预测 3.分布式存储原理 3.1主要概念：元数...