
scala
九指码农
生活不止眼前的苟且。
展开
-
spark好友推荐
好友推荐:有好多推荐方式,比如根据兴趣爱好去推荐,根据朋友的盆友去推荐等等,这里不再赘述,这个比较经典的问题,大家肯定都知道吧,或许很多人指导用hadoop怎么去实现,这个问题如果用hadoop去实现,得用至少两次mapreduce去实现吧,这里先不去说明hadoop怎么去实现的,先看看数据,然后用spark去实现。 小明 老王 如花 林志玲 老王 小明 凤姐 如花 小明 李刚原创 2016-10-30 01:31:17 · 1080 阅读 · 0 评论 -
spark找共同朋友的问题
数据格式如下: “A ,B ,C, D, E, F”, “B ,A ,C ,D ,E”, “C,A,B,E”, “D,A,B,E”, “E,A,B,C,D”, “F,A” 第一字母表示本人,其他是他的朋友,找出有共同朋友的人,和共同朋友是谁 直接上代码:val rdd = sc.makeRDD( Array( "A ,B ,C原创 2016-10-20 11:34:29 · 929 阅读 · 0 评论 -
spark二次排序
二次排序概念: 首先按照第一字段排序,然后再对第一字段相同的行按照第二字段排序,注意不能破坏第一次排序的结果 。 废话不多说,直接上代码: val rdd = sc.makeRDD( Array( (20, 21), ( 50, 51), ( 50 ,52), ( 50, 53), (50, 54), (60, 51), (60, 53), ( 60, 52), (6原创 2016-10-19 18:25:34 · 454 阅读 · 0 评论 -
scala中下划线的使用
第一:初始化的时候。 object Sample { var name:String=_ def main (args: Array[String]){ name=”hello world” println(name) }在这里,name也可以声明为null,例:var name:String=null。这里的下划线和null的作用是一样的。 第原创 2016-09-14 00:08:04 · 485 阅读 · 0 评论