sinat_32329183的博客

转自网上篇博客，感谢原作者和翻译者。作者本人经常在StackOverflow上回答一个关系Spark架构的问题，发现整个互联网都没有一篇文章能对Spark总体架构进行很好的描述，作者可怜我们这些菜鸟，写了这篇文章，太感动了。本文读者需要一定的Spark的基础知识，至少了解Spark的RDD和DAG。上图引入了很多术语："Executor","Task","C

作者：王燚光链接：http://www.zhihu.com/question/33270495/answer/93424104来源：知乎梳理一下Spark中关于并发度涉及的几个概念File，Block，Split，Task，Partition，RDD以及节点数、Executor数、core数目的关系。输入可能以多个文件的形式存储在HDFS上，每个File都包含了

转自scalahome的博客1，RDD的转换共分为Transformation和Action两类Transformation和Action的区别在于：Action会触发作业的提交，而Transformation不会触发作业的提交如map()和collect()[java] view plain copyde

转自jechedo官方介绍　　 弹性分布式数据集。 RDD是只读的、分区记录的集合。RDD只能基于在稳定物理存储中的数据集和其他已有的RDD上执行确定性操作来创建。问题      只要你敢问度娘RDD是什么，包你看到一大片一模一样的答案，都是说这样的概念性的东西，没有任何的价值。      我只想知道 RDD为什么是弹性 而不是 不弹性， R

import scala.collection.mutable.ArrayBufferimport scala.util.Random/** * Created by shaohui on 2017/7/22 0022. *//////////////////////构造器class Student(val name:String,val age:Int) { printl

打包akka和spark依赖时发生依赖冲突，根据http://www.cnblogs.com/scnu-ly/p/5106726.html的指导受到启发，但是文中的代码已经废弃了，查看官网，修改冲突jar包前缀后的配置文件文件如下：libraryDependencies += "com.typesafe.akka" %% "akka-actor" % "2.5.0"libraryDepend