SuperProgram00的博客

scala java语言的脚本化。 REPL REPL read + evaluate + print + loop 安装scala解释程序 1.scala-2.12.1.msi 2.进入scala命令行 //变量 scala>var a = 100 //变量 //常量 scala>val a = 100 //常量，不能重新赋值。 //定义类型 scala...

文章目录扩展类型检查和转换scala类型树文件正则表达式trait操作符apply()/update()unapply(),是apply的逆向过程高阶函数柯里化控制抽象集合 java语句脚本化。 object //静态成员 class //class trait //接口 def xxx(a:Int):Unit{} val //常量 var //变量 map(""-&gt...

为什么单独讲解combineByKey？ 因为combineByKey是Spark中一个比较核心的高级函数，其他一些高阶键值对函数底层都是用它实现的。诸如 groupByKey,reduceByKey等等 如下给出combineByKey的定义，其他的细节暂时忽略(1.6.0版的函数名更新为combineByKeyWithClassTag) def combineByKey[C]( ...

1.transformation & action transformation ：是得到一个新的RDD，方式很多，比如从数据源生成一个新的RDD或者从RDD生成一个新的RDD action ： 是得到一个值，或者一个结果（直接将RDDcache到内存中） 所有的transformation都是采用的懒策略，就是如果只是将transformation提交是不会...