zby384的博客

HDFS 在线上生产环境中基本我们不会使用2NN ,主要是部署NN 高可用。那么这个模式中2NN 的工作由谁来做，为啥会用这种模式？

NameNode 的元数据是保存在内存还是磁盘，如果是内存那满了后怎么办，自己会进行溢写嘛？带着这个问题，我们一起来复习下NN,2NN,DN 的工作机制和原理

笔者自己以前一直在做实时开发方面的工作，对Yarn 其实并不是很了解，只是简单用而已。但最近的工作中要开始涉及这里的使用。所以准备重新学习下，并记录下来。思考：如何管理集群资源？如何给任务合理分配资源？Yarn 就是解决上述问题的产物。Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce、Spark、Flink 等运算程序则相当于运行于操作系统之上的应用程序。