okmacong的博客

图片均来源于B站：哈喽鹏程。

1、yarn 简介1.1 yarn的简介1.2 yarn 的基本架构1.3. yarn 的高可用2、yarn 调度策略、运维、监控2.1 yarn 的调度策略2.1.1 FIFO scheduler(先进先出)2.1.2 容量调度2.1.3 公平调度2.2 yarn 的运维与管理调度策略：将所有任务放入一个队列，先进队列的先获得资源，排在后面的任务只有等待。缺点：a.资源利用率低，无法交叉完成任务；b.灵活性差，如紧急任务无法插队，耗时短的紧急任务只有等待。

将sql 代发翻译成java 程序将python 程序通过pyspark框架翻译成java 程序，然后运行在spark计算框架上

大数据的4v特性：数据量、速度、多样性、价值区别：主要看处理的数据是有界还是无界，离线场景的数据，不会增加和减少大数据典型应用以及架构改进：其他离线的应用场景，比如大数据的搜索与检索，图计算，数据挖掘和实时流处理等应用场景，以及相关技术细节。基于大数据的实时流处理：分布式消息队列，抗压性能很好，能够承担很多压力，如果压力过大，可以拓展新增的节点。