
scala
文章平均质量分 77
关山难越_谁悲失路之人
这个作者很懒,什么都没留下…
展开
-
scala解决八皇后问题
八皇后问题,是一个古老而著名的问题,是回溯算法的典型案例。 该问题是国际西洋棋棋手马克斯·贝瑟尔于1848年提出: 在8×8格的国际象棋上摆放八个皇后,使其不能互相攻击,即任意两个皇后都不能处于同一行、同一列或同一斜线上, 问有多少种摆法?def nqueens(n:Int):Set[List[Int]] ={原创 2016-11-30 10:26:49 · 503 阅读 · 0 评论 -
ALS思路+代码(全) (待整理)
sc.setLogLevel("WARN")//设置不打印一堆INFO信息(减少打印量 保证Shell页面清晰干净)一:导入相关recommendation包中相关类,然后加载数据,并解析到RDD【Rating】对象①导入包,recommendation._是导入recommendation包中全部的类scala> import org.apache.spark原创 2016-12-13 16:39:00 · 2432 阅读 · 0 评论 -
IDEA+MR实现ALS
1.环境导入spark-1.4.1-bin-hadoop2.6压缩包lib目录下的spark-assembly-1.4.1-hadoop2.6.02.IDEA代码package demoimport org.apache.spark.{SparkContext, SparkConf}import org.apache.spark.mllib.recommenda原创 2016-12-13 16:42:29 · 743 阅读 · 0 评论 -
scala_ALS
import org.apache.spark.mllib.recommendation._val data = sc.textFile("/root/cccc.txt").map(_.split(",") match {case Array (user,product,rating) => Rating (user.toInt,product.toInt,rating.toDouble)})原创 2016-12-13 16:44:20 · 633 阅读 · 0 评论 -
scala交互式操作 reduceByKey mapValues
scala> val c = sc.parallelize(List("aaa","b","b","c"))c: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[8] at parallelize at :21//做一个映射scala> c.map(x => (x,x.length))res7: org.ap原创 2016-12-13 16:44:55 · 8366 阅读 · 0 评论 -
基于Spark MLlib平台和基于模型的协同过滤算法的电影推荐系统(一) 协同过滤算法概述&&基于模型的协同过滤的算法思想(算法模型和结构待补充)
本文基于Spark MLlib平台实现一个向用户推荐电影的简单应用。其中,主要包括三部分内容:一、协同过滤算法概述二、基于模型的协同过滤应用---电影推荐三、实时推荐架构分析一、协同过滤算法概述 关于协同过滤的一个最经典的例子就是看电影,有时候不知道哪一部电影是我们喜欢的或者评分比较高的,那么通常的做法就是问问周围的朋友,看看最近有什么好的电原创 2016-12-24 16:53:02 · 2308 阅读 · 0 评论 -
基于Spark MLlib平台和基于模型的协同过滤算法的电影推荐系统(三) 作业里的拓展
20161205spark第四次作业使用Spark ALS explicit训练,得到模型,并进行评价;要求:1. 代码(只需要保留评价代码,建模代码,数据分割代码即可);2. 相关图表(建模截图(包含参数)、评价截图、不同k值precesion、recall表格及图);3. 测试数据集保留不超过10个用户即可;4. 不同模型对比(1,2,3再做一遍,对比,可选)原创 2016-12-24 21:21:32 · 1758 阅读 · 0 评论 -
基于Spark MLlib平台和基于模型的协同过滤算法的电影推荐系统(二)代码实现
上接基于Spark MLlib平台和基于模型的协同过滤算法的电影推荐系统(一)1. 设置不打印一堆INFO信息(减少打印量 保证Shell页面清晰干净) sc.setLogLevel("WARN")2. 导入相关recommendation包中相关类,加载数据,并解析到RDD【Rating】对象①导入相关recommendation包,原创 2016-12-24 21:15:43 · 2104 阅读 · 0 评论