搜索引擎、个性化推荐、大数据相关学习笔记|

spark学习笔记 join跟union方法测试效果 join(otherDataset, [numTasks])：(K, V) join (K, W) => (K, (V, W)) 测试过如果  没有join到的key，就没有数据，也就是两个RDD没有共同的K,则没有相应的数据 如： res15: Array[(Int, Int)] =

Spark累加器使用 使用spark累加器，解决视频平均播放数计算，以及视频播放数平方和平均值 val totalTimes=sc.accumulator(0l) val totalVids=sc.accumulator(0) val totalPow2Times=sc.accumulator(0d) val timesFile=sc.textFile("/user/zheny