qq_36392254的博客

原创 Spark 资源调度和任务调度

原创 spark pipiline 计算模式

原创 RDD 窄依赖和宽依赖

原创 yarn-cluster 提交任务

原创 yarn-client 模式提交任务

原创 standalone-cluster模式提交任务

原创 standalone-client 模式提交任务

原创 Spark任务执行原理

![在以上图中有四个机器节点，Driver和Worker是启动在节点上的进程，运行在JVM中的进程。1、Driver与集群节点之间有频繁的通信。2、Driver负责任务(tasks)的分发和结果的回收。任务的调度。如果task的计算结果非常大就不要回收了。会造成oom。3、Worker是Standalone资源调度框架里面资源管理的从节点。也是JVM进程。4、Master是Standal...

原创 Spark代码流程

1、创建SparkConf对象：设置Application name 以及运行模式及资源需求。2、创建SparkContext对象。3、基于Spark的上下文创建一个RDD，对RDD进行处理。4、应用程序中要有Action类算子来触发Transformation类算子执行。5.、关闭Spark上下文对象SparkContext...

原创 RDD 分布式弹性数据集

原创 java版本的spark WordCount

public class JavaSparkWordCount { public static void main(String[] args) { /** * conf * 1.可以设置spark的运行模式 * 2.可以设置spark在webui中显示的application的名称。 * 3.可以设置当前spark application 运行的资源(内存+...