本文深入探讨了Yarn和ResourceManager的调度原理，以及从Hadoop1.0到Hadoop2.0的调度变革，解决了资源利用率的问题。同时，介绍了NamenodeHA的高可用机制。Flink和Spark的调度流程被详细阐述，分析了它们的异同。文章还讨论了线程池的拒绝策略、MapReduce与Spark的Shuffle过程，以及Hive、SparkSQL和FlinkSQL的执行流程。此外，对比了SparkStreaming和Flink在实时处理上的区别，并简单介绍了Atlas框架的基本原理。
1、Yarn的调度原理
2、hadoop1.0到hadoop2.0调度方面有什么变化，解决了什么问
3、Namenode HA原理
4、ResourceManager的调度原理
5、悲观锁、乐观锁的区别
6、flink的调度流程
7、spark的调度流程
8、选一个你最熟悉的框架说一下，有什么优劣，有什么地方可以改进
9、flink如何实现exectly-once
10、 线程池的拒绝策略有哪几种
11、mapreduce shuflle过程，spark shuffle
12、hive sql 执行流程、spark sql 、 flink sql
13、kafka有哪些组件、kafka顺序读写、leader follower 数据同步
14、集合、说一说你最熟悉的一种，讲讲底层实现
15、sparkstreaming和flink有什么区别
16、atlas框架的原理
扫一扫
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
