
RDD
文章平均质量分 96
TccccD
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark之深入理解RDD结构
RDD RDD(Resilient Distributed Datasets,弹性分布式数据集),是Spark最为核心的概念,自然也是理解Apache Spark 工作原理的最佳入口之一。 RDD的特点: 1. 是一个分区的只读记录的集合; 2. 一个具有容错机制的特殊集; 3. 只能通过在稳定的存储器或其他RDD上的确定性操作(转换)来创建; 4. 可以分布在集群的节点上,以函数式操原创 2018-01-06 22:57:53 · 21709 阅读 · 0 评论 -
Spark技术内幕整理------持续更新
整理自博客专栏《Spark技术内幕》 SparkContext---从SparkContext开始 Executor---------Executor分配详解 Master-----------Master的故障恢复 RDD--------------究竟什么是RDD Stage-------------Stage划分及提交,Task向Executor提交转载 2018-01-04 21:32:21 · 1108 阅读 · 0 评论