spark基础
关注
分享
扫一扫
文章平均质量分 86
写代码的可可
微博：写代码的可可 欢迎关注
展开
-
Spark基础入门（一）--------RDD基础
（一）、RDD定义不可变 分布式对象集合创建RDD有两种方式：（二）、RDD分区数（三）、RDD操作 转换操作与行动操作原创 2017-01-12 15:29:03 · 6205 阅读 · 1 评论 -
Spark基础入门（二）--------DAG与RDD依赖
spark一、 DAG定义二、RDD依赖关系三、划分stage四、小实验原创 2017-01-16 16:07:42 · 7959 阅读 · 0 评论 -
Spark基础入门（三）--------作业执行方式
（一）SparkContext代表对集群的一个连接（二）Job提交过程底层分析，包括DAGScheduler，taskScheduler的分析（三）、Spark提交Job的顺序的小实验原创 2017-01-16 20:25:28 · 4299 阅读 · 0 评论 -
spark作业调度
spark调度分为两种，一是应用之间的，二是应用内部作业的。本文主要介绍spark应用内部的作业调度，多线程提交作业的情况下，各个job的调度方式。详细介绍了FIFO与Fair调度算法的原理、源码与案例。结合thriftserver介绍了SQL级别的作业调度原创 2017-04-25 12:46:17 · 1485 阅读 · 0 评论