SparkMLlib---基于余弦相似度的用户相似计算

最新推荐文章于 2021-03-20 09:19:16 发布
转载 最新推荐文章于 2021-03-20 09:19:16 发布 · 1.9k 阅读 · 2

本文介绍了一个基于Spark的用户相似性计算方法，通过余弦相似性评估不同用户对一系列电影评分的相似度。此方法适用于推荐系统中寻找目标用户的兴趣相似者。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

package mllib

import org.apache.log4j.{Level, Logger}
import org.apache.spark.{SparkContext, SparkConf}
import scala.collection.mutable.Map
/**
  * Created by 汪本成 on 2016/8/4.
  */
object UserSimilar {

  //屏蔽不必要的日志显示在终端上
  Logger.getLogger("org.apache.spark").setLevel(Level.WARN)
  Logger.getLogger("org.apache.eclipse.jetty.server").setLevel(Level.OFF)

  //程序入口
  val conf = new SparkConf().setMaster("local[1]").setAppName(this.getClass().getSimpleName().filter(!_.equals('$')))
  println(this.getClass().getSimpleName().filter(!_.equals('$')))

  val sc = new SparkContext(conf)

  //设置用户名
  val users = sc.parallelize(Array("张三", "李四", "王五", "赵六", "阿七"))
  //设置电影名
  val films = sc.parallelize(Array("逆战", "人间", "鬼屋", "西游记", "雪豹"))

  //使用一个source嵌套map作为姓名电影名和分值的存储
  val source = Map[String, Map[String, Int]]()

  //设置一个用以存放电影分的map
  val filmSource = Map[String, Int]()


  def getSource(): Map[String, Map[String, Int]] = {
    //设置电影评分
    val user1FilmSource = Map("逆战" -> 2, "人间" -> 3, "鬼屋" -> 1, "西游记" -> 0, "雪豹" -> 1)
    val user2FilmSource = Map("逆战" -> 1, "人间" -> 2, "鬼屋" -> 2, "西游记" -> 1, "雪豹" -> 4)
    val user3FilmSource = Map("逆战" -> 2, "人间" -> 1, "鬼屋" -> 0, "西游记" -> 1, "雪豹" -> 4)
    val user4FilmSource = Map("逆战" -> 3, "人间" -> 2, "鬼屋" -> 0, "西游记" -> 5, "雪豹" -> 3)
    val user5FilmSource = Map("逆战" -> 5, "人间" -> 3, "鬼屋" -> 1, "西游记" -> 1, "雪豹" -> 2)

    //对人名进行储存
    source += ("张三" -> user1FilmSource)
    source += ("李四" -> user2FilmSource)
    source += ("王五" -> user3FilmSource)
    source += ("赵六" -> user4FilmSource)
    source += ("阿七" -> user5FilmSource)

    //返回嵌套map
    source
  }

  //两两计算分值，采用余弦相似性
  def getCollaborateSource(user1: String, user2: String): Double = {
    //获得1，2两个用户的评分
    val user1FilmSource = source.get(user1).get.values.toVector
    val user2FilmSource = source.get(user2).get.values.toVector

    //对公式部分分子进行计算
    val member = user1FilmSource.zip(user2FilmSource).map(d => d._1 * d._2).reduce(_ + _).toDouble
    //求出分母第一个变量值
    val temp1 = math.sqrt(user1FilmSource.map(num => {math.pow(num, 2)}).reduce(_ + _))
    //求出分母第二个变量值
    val temp2 = math.sqrt(user2FilmSource.map(num => {math.pow(num, 2)}).reduce(_ + _))
    //求出分母
    val denominator = temp1 * temp2
    //进行计算
    member / denominator
  }

  def main(args: Array[String]) {
    //初始化分数
    getSource()

    val name1 = "张三"
    val name2 = "李四"
    val name3 = "王五"
    val name4 = "赵六"
    val name5 = "阿七"

    users.foreach(user => {
      println(name1 + " 相对于 " + user + " 的相似性分数是 " + getCollaborateSource(name1, user) )
    })

    println("--------------------------------------------------------------------------")

    users.foreach(user => {
      println(name2 + " 相对于 " + user + " 的相似性分数是 " + getCollaborateSource(name2, user) )
    })

    println("--------------------------------------------------------------------------")

    users.foreach(user => {
      println(name3 + " 相对于 " + user + " 的相似性分数是 " + getCollaborateSource(name3, user) )
    })

    println("--------------------------------------------------------------------------")

    users.foreach(user => {
      println(name4 + " 相对于 " + user + " 的相似性分数是 " + getCollaborateSource(name4, user) )
    })

    println("--------------------------------------------------------------------------")

    users.foreach(user => {
      println(name5 + " 相对于 " + user + " 的相似性分数是 " + getCollaborateSource(name5, user) )
    })

  }

}



运行结果：

[plain]  view plain  copy
  1. "C:\Program Files\Java\jdk1.8.0_77\bin\java" -Didea.launcher.port=7534 "-Didea.launcher.bin.path=D:\Program Files (x86)\JetBrains\IntelliJ IDEA 15.0.5\bin" -Dfile.encoding=UTF-8 -classpath "C:\Program Files\Java\jdk1.8.0_77\jre\lib\charsets.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\deploy.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\ext\access-bridge-64.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\ext\cldrdata.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\ext\dnsns.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\ext\jaccess.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\ext\jfxrt.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\ext\localedata.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\ext\nashorn.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\ext\sunec.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\ext\sunjce_provider.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\ext\sunmscapi.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\ext\sunpkcs11.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\ext\zipfs.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\javaws.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\jce.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\jfr.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\jfxswt.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\jsse.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\management-agent.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\plugin.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\resources.jar;C:\Program Files\Java\jdk1.8.0_77\jre\lib\rt.jar;G:\location\spark-mllib\out\production\spark-mllib;C:\Program Files (x86)\scala\lib\scala-actors-migration.jar;C:\Program Files (x86)\scala\lib\scala-actors.jar;C:\Program Files (x86)\scala\lib\scala-library.jar;C:\Program Files (x86)\scala\lib\scala-reflect.jar;C:\Program Files (x86)\scala\lib\scala-swing.jar;G:\home\download\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-api-jdo-3.2.6.jar;G:\home\download\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-core-3.2.10.jar;G:\home\download\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-rdbms-3.2.9.jar;G:\home\download\spark-1.6.1-bin-hadoop2.6\lib\spark-1.6.1-yarn-shuffle.jar;G:\home\download\spark-1.6.1-bin-hadoop2.6\lib\spark-assembly-1.6.1-hadoop2.6.0.jar;G:\home\download\spark-1.6.1-bin-hadoop2.6\lib\spark-examples-1.6.1-hadoop2.6.0.jar;D:\Program Files (x86)\JetBrains\IntelliJ IDEA 15.0.5\lib\idea_rt.jar" com.intellij.rt.execution.application.AppMain mllib.CollaborativeFilteringSpark  
  2. CollaborativeFilteringSpark  
  3. Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties  
  4. SLF4J: Class path contains multiple SLF4J bindings.  
  5. SLF4J: Found binding in [jar:file:/G:/home/download/spark-1.6.1-bin-hadoop2.6/lib/spark-assembly-1.6.1-hadoop2.6.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]  
  6. SLF4J: Found binding in [jar:file:/G:/home/download/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]  
  7. SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.  
  8. SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]  
  9. 16/08/04 20:41:49 INFO Slf4jLogger: Slf4jLogger started  
  10. 16/08/04 20:41:49 INFO Remoting: Starting remoting  
  11. 16/08/04 20:41:49 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriverActorSystem@192.168.1.100:8380]  
  12. 张三 相对于 张三 的相似性分数是 0.9999999999999999  
  13. 张三 相对于 李四 的相似性分数是 0.7089175569585667  
  14. 张三 相对于 王五 的相似性分数是 0.6055300708194983  
  15. 张三 相对于 赵六 的相似性分数是 0.564932682866032  
  16. 张三 相对于 阿七 的相似性分数是 0.8981462390204985  
  17. --------------------------------------------------------------------------  
  18. 李四 相对于 张三 的相似性分数是 0.7089175569585667  
  19. 李四 相对于 李四 的相似性分数是 1.0000000000000002  
  20. 李四 相对于 王五 的相似性分数是 0.8780541105074453  
  21. 李四 相对于 赵六 的相似性分数是 0.6865554812287477  
  22. 李四 相对于 阿七 的相似性分数是 0.6821910402406466  
  23. --------------------------------------------------------------------------  
  24. 王五 相对于 张三 的相似性分数是 0.6055300708194983  
  25. 王五 相对于 李四 的相似性分数是 0.8780541105074453  
  26. 王五 相对于 王五 的相似性分数是 1.0  
  27. 王五 相对于 赵六 的相似性分数是 0.7774630169639036  
  28. 王五 相对于 阿七 的相似性分数是 0.7416198487095662  
  29. --------------------------------------------------------------------------  
  30. 赵六 相对于 张三 的相似性分数是 0.564932682866032  
  31. 赵六 相对于 李四 的相似性分数是 0.6865554812287477  
  32. 赵六 相对于 王五 的相似性分数是 0.7774630169639036  
  33. 赵六 相对于 赵六 的相似性分数是 1.0  
  34. 赵六 相对于 阿七 的相似性分数是 0.738024966423108  
  35. --------------------------------------------------------------------------  
  36. 阿七 相对于 张三 的相似性分数是 0.8981462390204985  
  37. 阿七 相对于 李四 的相似性分数是 0.6821910402406466  
  38. 阿七 相对于 王五 的相似性分数是 0.7416198487095662  
  39. 阿七 相对于 赵六 的相似性分数是 0.738024966423108  
  40. 阿七 相对于 阿七 的相似性分数是 0.9999999999999998  
  41. 16/08/04 20:41:51 INFO RemoteActorRefProvider$RemotingTerminator: Shutting down remote daemon.  
  42.   
  43. Process finished with exit code 0  
基于用户的协同过滤算法（一）：余弦相似度
05-15 2214
基于用户的协同过滤算法是推荐系统中最古老的算法。可以不夸张地说，这个算法的诞生标志了推荐系统的诞生。该算法在1992年被提出，并应用于邮件过滤系统，1994年被GroupLens用于新闻过滤。在此之后直到2000年，该算法都是推荐系统领域最著名的算法。本节将对该算法进行详细介绍，首先介绍最基础的算法，然后在此基础上提出不同的改进方法，并通过真实的数据集进行评测。
Spark ItemCF推荐算法(mllib) 余弦相似度实现：
灬皇帝的新装灬的博客
05-27 3415
package com.keyboard.pro_test import org.apache.log4j.{Level, Logger} import org.apache.spark.ml.feature.StringIndexer import org.apache.spark.mllib.linalg import org.apache.spark.mllib.linalg.distr...
Spark Mllib里相似度度量（基于余弦相似度计算不同用户之间相似性）（图文详解）...
weixin_34178244的博客
09-05 2098
    　　不多说，直接上干货！       常见的推荐算法 　　1、基于关系规则的推荐 　　2、基于内容的推荐 　　3、人口统计式的推荐 　　4、协调过滤式的推荐       　　协调过滤算法，是一种基于群体用户或者物品的典型推荐算法，也是目前常用的推荐算法中最常用和最经典的算法。  　　协调过滤算法主要有两种： 　　　　用户对物品：  考查具有相同爱好的用户对相...
spark计算列与列之间的余弦相似度
鸭梨的博客
02-13 1359
import org.apache.spark.mllib.linalg import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.mllib.linalg.distributed.{CoordinateMatrix, RowMatrix} import org.apache.spark.rdd.RDD import org.apache.spark.sql.SparkSession object Test { def m
Spark机器学习——余弦相似性算法
a805814077的博客
01-27 2993
Spark机器学习之余弦相似性算法的介绍与实现
spark基于物品的推荐_GitHub - MrQuJL/recommendation-based-on-SparkMLLib: 基于SparkMLLib实现的商品推荐功能，包括：基于用户的协同过滤，...
weixin_36371504的博客
01-14 678
recommendation-based-on-SparkMLLibSpark MLLib 简介Spark MLlib(Machine Learnig lib) 是Spark对常用的机器学习算法的实现库，同时包括相关的测试和数据生成器。Spark的设计初衷就是为了支持一些迭代的Job, 这正好符合很多机器学习算法的特点。Spark MLlib目前支持4种常见的机器学习问题: 分类、回归、聚类和协同...
【Spark Mllib】TF-IDF&Word2Vec——文本相似度
06-21 2万+
一个比较通用的例子是使用单词的向量表示基于单词的含义计算两个单词的相似度。特征哈希通过使用哈希方程对特征赋予向量下标,这个向量下标是通过对特征的值做哈希得到的(通常是整数)。使用的哈希方程必须是一致的(就是说,对于一个给定的输入,每次返回相同的输出)。的含义是:在一个文档中出现次数很多的词相比出现次数少的词应该在词向量表示中得到更高的权值。最后的结果就是,稀有的或者重要的词被给予了更高的权值,而更加常用的单词(被认为比较不重要)则在考虑权重的时候有较小的影响。对于我们的任务来说,可以使用。
php用户推荐算法,基于用户的推荐算法余弦相似性实现
weixin_36070568的博客
03-20 418
1.[文件]cosine.py#-*- coding: utf-8 -*-'''Created on 2012-9-3@author: Jekey余弦相关性，如果数据稀疏，考虑使用该算法'''import codecsfrom math import sqrtusers = {"Angelica": {"Blues Traveler": 3.5, "Broken Bells": 2.0, "Nor...
推荐系统之余弦相似度的Spark实现
weixin_30522183的博客
03-29 491
推荐系统之余弦相似度的Spark实现 （1）原理分析 余弦相似度度量是相似度度量中最常用的度量关系，从程序分析中， 第一步是数据的输入， 其次是使用相似性度量公式 最后是对不同用户的递归计算。 本例子是基于欧几里得举例的相似度计算。 （2）源代码 1 package com.bigdata.demo 2 3 import org.apa...
余弦方法计算相似度算法实现
热门推荐
cscmaker的专栏
09-18 3万+
（1）余弦相似性           通过测量两个向量之间的角的余弦值来度量它们之间的相似性。0度角的余弦值是1，而其他任何角度的余弦值都不大于1;并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。所以，它通常用于文件比较。           详见百科介绍（点击打开链接） （2）算法实现的中未使用权重（IDF ---逆文档频率），使用词项的出现次数
spark java文本相似度_spark mllib 中的tf-idf算法计算文档相似度
weixin_34722157的博客
03-02 443
import org.apache.spark.mllib.feature.{HashingTF, IDF}import org.apache.spark.mllib.linalg.{SparseVector => SV}import org.apache.spark.{SparkConf, SparkContext}import scala.io.Source/*** Created by...
基于Spark MLlib的余弦相似度计算实战与欧几里得距离概述【相似度度量】
不清不慎的博客
05-26 8031
在上篇文章协同过滤推荐算法概述中，我们看到了对于不同形式的协同过滤举证，最重要的部分是相似度的计算，如果不同的用户或者物品之间的相似度缺乏有效而可靠的算法定义，那么协同过滤算法就失去了成立的基础条件。 转载请标明原文链接： 欧几里得距离相似度计算 欧几里得距离是常用的计算距离的公式，它表示三维空间的两个点的真实距离。欧几里得相似度计算是一种基于用户之间直线距离的计算方式，在计算时，不同的物品...
Spark实现TF-IDF——文本相似度计算
weixin_30629977的博客
09-05 803
在Spark1.2之后，Spark自带实现TF-IDF接口，只要直接调用就可以，但实际上，Spark自带的词典大小设置较于古板，如果设置小了，则导致无法计算，如果设置大了，Driver端回收数据的时候，容易发生OOM，所以更多时候都是自己根据实际情况手动实现TF-IDF。不过，在本篇文章中，两种方式都会介绍。 数据准备： val df = ss.s...
scala 余弦相似度
夏天的风
04-04 781
import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkConf, SparkContext} import scala.collection.mutable import scala.collection.mutable.ListBuffer object test423_cosvec { def ma...
spark mllib 中的tf-idf算法计算文档相似度
xiao_jun_0820的专栏
10-20 1万+
import org.apache.spark.mllib.feature.{HashingTF, IDF} import org.apache.spark.mllib.linalg.{SparseVector => SV} import org.apache.spark.{SparkConf, SparkContext} import scala.io.Source /** * Crea
用户综合分析系统：大数据板块---余弦相似度
weixin_45607513的博客
04-01 587
余弦相似度(应用：密码错误评估，成分评估) 余弦相似度，又称为余弦相似性，是通过计算两个向量的夹角余弦值来评估他们的相似度。余弦相似度将向量根据坐标值，绘制到向量空间中，如最常见的二维空间。 余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。 上图两个向量a,b的夹角很小可以说a向量和b向量有很高的的相似性，极端情况下，a和b向量完全重合。如下图： 求余弦相似度...
Spark中组件Mllib的学习3之用户相似度计算
Keep Learning
05-16 4603
代码：/** * @author xubo * time 2016.516 * ref 《Spark MlLib 机器学习实战》P64 */ package org.apache.spark.mllib.learning.recommendimport org.apache.spark.{SparkConf, SparkContext}import s
scala 实现余弦相似度
k_wzzc的博客
08-04 4148
scala 简单实现余弦相似度 余弦相似度：也叫鱼线距离，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似。余弦相似度广泛应用于机器学习领域。 https://baike.baidu.com/item/%E4%BD%99%E5%BC%A6%E7%9B%B8%E4%BC%BC%E5%BA%A6/17509249 本...
Spark机器学习实践：实现基于物品的协同过滤算法
- 计算物品间的相似度，常见的相似度计算方法包括余弦相似度、皮尔逊相关系数、Jaccard相似度等。 - 利用用户对物品的评分数据，构建用户-物品评分矩阵。 - 对每个用户，找出他/她评分最高的物品集合。 - 对于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值