SuperProgram00的博客

scalajava语言的脚本化。REPLREPLread + evaluate + print + loop安装scala解释程序1.scala-2.12.1.msi2.进入scala命令行 //变量 scala>var a = 100 //变量 //常量 scala>val a = 100 //常量，不能重新赋值。 //定义类型 scala...

文章目录扩展类型检查和转换scala类型树文件正则表达式trait操作符apply()/update()unapply(),是apply的逆向过程高阶函数柯里化控制抽象集合java语句脚本化。object //静态成员class //classtrait //接口def xxx(a:Int):Unit{}val //常量var //变量map(""-&gt...

为什么单独讲解combineByKey？因为combineByKey是Spark中一个比较核心的高级函数，其他一些高阶键值对函数底层都是用它实现的。诸如 groupByKey,reduceByKey等等如下给出combineByKey的定义，其他的细节暂时忽略(1.6.0版的函数名更新为combineByKeyWithClassTag)def combineByKey[C]( ...

1.transformation & actiontransformation ：是得到一个新的RDD，方式很多，比如从数据源生成一个新的RDD或者从RDD生成一个新的RDDaction ： 是得到一个值，或者一个结果（直接将RDDcache到内存中）所有的transformation都是采用的懒策略，就是如果只是将transformation提交是不会...