自渡

目录 1、创建键值对RDD 从文件加载 通过并行集合创建 2、常用的键值对RDD转换操作（reduceByKey和groupByKey） 3、keys,values.sortByKey,mapValues,join 4、综合实例 1、创建键值对RDD 从文件加载 通过并行集合创建 2、常用的键值对RDD转换操作（reduceByKey和groupBy...

目录 1、读写文件 2、求TopN 3、求最大最小值 4、文件排序 5、二次排序 6、连接操作 1、读写文件 2、求TopN 分区分2个==用两个线程 只有键值对才可以排序 3、求最大最小值 4、文件排序 5、二次排序 网络中可传输的数据必须可序列化 6、连接操作 找出评分高于4.0的电影 ????生...

1、RDD属于Spark Core spark核心：RDD 2、RDD的创建 文件加载 通过SparkContext对象的textFile()读取文件生成RDD file:///表示读取本地文件 每一行都是RDD的一个元素 hdfs://localhost:9000/也可以简写为/ 通过并行集合（数组）创建RDD 调用sc的parallelize方法 3...

目录 1、函数的定义与使用 定义 字面量 匿名函数 _ 2、高阶函数 定义 3、针对容器的操作 （遍历、映射） scala容器的标准遍历方法foreach map flatmap 4、过滤和规约 过滤 规约 reduce fold 5、spark编程实例WordCount 1、函数的定义与使用 定义 函数==方法（见2.3） 字面量 函数也有函...

目录 1、类 private 中缀表示法 2、构造器 定义 主构造器和辅助构造器 3、对象（单例对象 singleton object） 单例对象 伴生对象 孤立对象 4、对象(apply方法) 5、对象（update方法和unapply方法） update: unapply： 6、类的继承 抽象类 扩展类 Option类 7、特质 定义及简介 混入...

目录 1、scala与java的if else的不同 2、for 2.1 for(变量 <- 表达式;变量<-表达式){语句块} 2.2 for(变量 <- 表达式 if 条件表达式) 语句块 3、异常 4、循环控制 4.1 终止从当前开始的所有循环 4.2 终止当次循环，继续下一个循环对象 5、数组 6、元组 7、容器 collection 7....

尽可能地用map代替for map相较于for真的快很多 if 和 for 真的太为难JVM了（运行效率非常低下） 他只是个单纯的OO（卑微） ???? 关于python中dataframe的 for 和 if ，有异曲同工之妙： https://blog.youkuaiyun.com/geniusle201/article/details/78351639#commentBox ...

1、慢一点，我们理解的越多，需要记的就越少。停下来认真想，想得越深，越有可能学会并记住。 2、勤做练习，自己记笔记。 3、注重复习。 4、大声说出来。解释给别人听有助于产生新的认识。 5、如果自己的大脑累了就休息，比如浮光掠影的看，比如忘得很快 6、学以致用，将学到的新东西应用到新项目中，甚至重构旧项目。 使用模式的心智： 所有的设计都应该尽量保持简单。只有在需要实践扩展的地方...