Collaborative Filtering

最新推荐文章于 2024-12-16 18:40:28 发布
转载 最新推荐文章于 2024-12-16 18:40:28 发布 · 470 阅读 · 0

本文详细介绍了如何使用分布式处理技术对亚马逊推荐系统进行优化，包括数据分块、归一化、计算余弦相似度等关键步骤。通过将数据分割成多个块并并行处理，实现了高效的数据处理和相似度计算，最终通过取top操作获得最优推荐结果。

Paper链接：http://www.cs.umd.edu/~samir/498/Amazon-Recommendations.pdf
博客链接：http://www.xysay.com/amazon-item-to-item-collaborative-filtering-207.html

分布式处理

重编号

  • 功能是，为了避免数据倾斜，以及本来是string类型的id
  • 就是分桶，每个桶预设了默认的起始，比如1000000、2000000，依次自增

做归一化

  • 观察cos距离公式，其实就可以是向量各自除以它的模，再相乘，为了后面分布式的处理

分块分发

  • 为了在MR里实现，分块处理。比如分成四块，那算相似度，可以看成是下面的两个的相乘
    这里写图片描述
  • 其实上面的分块，对应的就是一个4*4的行列式，如下图，所以，在map阶段，分为“left”“right”两种类型，每份数据map多次，map到不同的多个reducer里面
    这里写图片描述
  • 然后，根据left right的标示，就知道该计算计算哪个了。
  • 最后，再做一次取top就行了。
Relational Collaborative Filtering: Modeling Multiple Item Relations for Recommendation简析
loserChen的博客
05-02 1455
Relational Collaborative Filtering: Modeling Multiple Item Relations for Recommendation 介绍 作者介绍了一种新颖的基于item的协同过滤框架——关系型的协同过滤，利用two-level的hieraychy将多个item关系利用attention整合形成user preference以及提高item embedd...
论文《Attentive Collaborative Filtering: Multimedia Recommendation with Item- and Componet-Level ...》阅读
xingzhe123456789000的博客
04-17 2294
论文《Attentive Collaborative Filtering: Multimedia Recommendation with Item- and Component-Level Attention》阅读论文概况IntroductionPreliminariesAttentive Collaborative Filtering总结 论文概况 这篇文章是新加坡国立大学何向南老师团队关于推荐系统方向的一篇论文，提出基于item和component层面的多媒体注意力模型ACF，被SIGIR 2017录用
reading notes -- Amazon.com Recommendations: Item-to-Item Collaborative Filtering
weixin_30445169的博客
08-25 182
中英译本及下载：http://blog.sina.com.cn/s/blog_586631940100pduh.html 以下是摘要笔记： 算法应当结合用户的习惯，用户特点的分类 观影习惯是比较单一 还是比较分散 这是不同的 一、推荐的宗旨：推荐应该要帮助顾客找到和发现新的、相关的、有趣的商品。 Recommendations should help a customer find ...
论文阅读笔记：Amazon.com Recommendations: Item-to-item collaborative filtering
爱丹丹的博客
01-09 3287
文章目录Amazon.com Recommendations: Item-to-item collaborative filtering电子商务推荐存在的挑战研究思路相关工作：已有的推荐算法及其不足传统协同过滤(基于用户的协同过滤)聚类模型serach-based（contented-based）methods[8]我们的工作：item-to-item CF参考文献 Amazon.com Reco...
【论文阅读】推荐算法之基础 Amazon.com Recommendations Item-to-Item Collaborative Filtering
凝眸伏笔的博客
04-23 4008
写在前面： 基于位置的业务场景和不考虑位置信息只考虑相关性或者说相似程度的业务场景，使用item2item的方式还不太一样。举个例子，餐饮中，用户吃饭，不会跑个三五十公里，就算三五十公里外的那个item与用户之前喜欢的item相似度很高，我觉得用户应该不会过去。因此基于位置的业务场景，很大一部分需要考虑距离因素，那么可行的一条路便是：在构建item2item的相似矩阵时，加入距离元素。具体如何加...
Neural Collaborative Filtering神经协同过滤1
08-03
神经协同过滤（Neural Collaborative Filtering, NCF）是推荐系统领域内一项革命性的技术突破，其核心思想是利用深度学习技术来解决传统协同过滤算法无法捕捉的用户与物品间的复杂非线性关系。在这一技术框架下，...
基于用户的协同过滤算法（user-based Collaborative Filtering）
12-22
【基于用户的协同过滤算法（User-Based Collaborative Filtering）】 协同过滤是一种常见的推荐系统算法，它主要依赖于用户的历史行为和偏好来预测他们可能感兴趣的新项目。在基于用户的协同过滤算法中，我们假设...
Neural Collaborative Filtering∗
m0_52545077的博客
12-16 1297
In recent years, deep neural networks have yielded immense success on speech recognition, computer vision and natural language processing.
Aspect-Level Deep Collaborative Filtering via Heterogeneous Information Networks
02-08
在深度学习和推荐系统领域，本篇论文提出了一个名为Neural Network based Aspect-level Collaborative Filtering（NeuACF）的新模型，这一模型结合了异构信息网络（Heterogeneous Information Networks）的概念，来...
Deep Collaborative Filtering via Marginalized Denoising
12-10
深度学习技术在协同过滤推荐中的应用，非常好的算法！
[论文笔记]Item-based collaborative filtering recommendation algorithms
Cody的笔记本
04-16 3079
作者：Badrul Sarwar, George Karypi, Joseph Konstan, John Riedl 内容概要 1. 协同过滤： 目标：推荐TOP N item 类别：memory-based, model-based。 2. user-based的协同过滤的问题： a. 数据稀疏性  b.可扩展性（因为它在推荐时需要用到邻居信息，并且邻居更新更频繁） 3. i
推荐系统经典论文
热门推荐
但行好事，莫问前程
03-08 1万+
下面提供的论文，可以说基本都是经典中的经典。读完这些论文，相信对推荐系统的认识肯定会有质的飞越：（不够再找我。O(∩_∩)O~） 综述类: 1、Towards the Next Generation of Recommender Systems: A Survey of the State-of-the-Art and Possible Extensions。最经典的推荐算法综述 2、C...
从2017年顶会论文看 Attention Model
洋葱专栏-有灵魂的程序员
10-09 8677
从2017年顶会论文看 Attention Model 转载来自：https://zhuanlan.zhihu.com/p/29918534?utm_source=wechat_session&utm_medium=social 前言：2017年KDD，Sigir以及Recsys会议被接收的论文早已公示，本文对这些会议中Attention Model相关的10篇论文进行了整理，
【读论文】Attentive Collaborative Filtering【待完成】
haolexiao的专栏
10-15 2913
《Attentive Collaborative Filtering: Multimedia Recommendation with Feature- and Item-level Attention 》是今年SIGIR上的一篇关于Attention Model用于推荐系统CF上的方法 Abstract这部分作者首先说对于多媒体信息，多为0/1信息（照片的点赞，歌曲的下载，视频的观看），相较于需要f
Collaborative Filtering 协同过滤小结 part-1：CF背景
yujianmin1990的专栏
04-23 1761
最近看了些关于CF的论文，稍微总结整理下。 背景，方法，评价。
Memory-based的CF推荐--Item-based的方法：Item-Based Collaborative Filtering Recommendation Algorithms
I‘m Frank Lee
06-17 711
Badrul Sarwar, George Karypis, Joseph Konstan, and John Riedl 摘要 推荐系统将知识发现技术应用于在生活中针对信息、产品或服务提出个性化建议的问题。这些系统，尤其是基于k近邻协同过滤的系统，正在网络上获得广泛的成功。可用信息的巨大增长，以及最近访问Web站点的访客的数量，对推荐系统提出了一些挑战。它们是：产生高质量的推荐，每秒为数百万个用户和项目提供高质量推荐，并在数据稀疏的情况下实现更高的质量。在传统的协作过滤系统中，工作量随着系统中参与人数的增
基于物品的协同过滤推荐算法——读“Item-Based Collaborative Filtering Recommendation Algorithms”...
weixin_30588827的博客
12-04 128
https://blog.youkuaiyun.com/huagong_adu/article/details/7362908 转载于:https://www.cnblogs.com/pengwang52/p/10066222.html
collaborative filtering
最新发布
12-27
### 协同过滤的概念 协同过滤是一种广泛应用于推荐系统的算法，旨在通过分析用户行为数据来预测用户可能感兴趣的商品或服务。该技术基于这样的假设：如果两个用户在过去表现出相似的兴趣，则在未来他们可能会对相同的事物保持一致的态度。 #### 用户-用户协同过滤(UserCF) 一种常见的形式是用户-用户协同过滤（UserCF），其核心理念在于找到具有相似偏好的其他个体，并据此向目标用户提供个性化建议[^1]。具体来说： - **计算相似度**：首先衡量不同成员之间的亲密度； - **寻找邻居集**：依据上述指标挑选出最接近的若干位作为参照对象； - **生成推荐列表**：最后综合考虑这些伙伴的历史记录给出最终的选择方案。 ```python from sklearn.metrics.pairwise import cosine_similarity import numpy as np def compute_user_similarities(ratings_matrix): """ 计算用户间的余弦相似度矩阵 参数: ratings_matrix (numpy.ndarray): 用户评分矩阵 返回: similarity_matrix (numpy.ndarray): 用户间相似度矩阵 """ # 使用sklearn库中的cosine_similarity函数快速求解两两之间夹角余弦值 similarity_matrix = cosine_similarity(ratings_matrix) return similarity_matrix def recommend_items(user_id, ratings_matrix, k_neighbors=5, top_n=10): """ 对指定用户进行物品推荐 参数: user_id (int): 待推荐的目标用户ID ratings_matrix (numpy.ndarray): 用户评分矩阵 k_neighbors (int): 考虑近邻的数量，默认取前五个最近似的用户 top_n (int): 推荐条目数量上限，默认最多返回十个商品链接 返回: recommended_item_ids (list[int]): 给定用户的top n个推荐项ID列表 """ similarities = compute_user_similarities(ratings_matrix) sorted_indices = np.argsort(similarities[user_id])[::-1][1:k_neighbors+1] neighbor_ratings = ratings_matrix[sorted_indices] item_scores = np.mean(neighbor_ratings, axis=0) unseen_mask = ratings_matrix[user_id] == 0 candidate_scores = item_scores * unseen_mask recommended_item_ids = (-candidate_scores).argsort()[:top_n].tolist() return recommended_item_ids ``` ### 实现案例 为了更好地理解如何实际部署这样一个系统，在电子商务网站上构建了一个简单的Web应用程序实例。此应用采用了Python微框架Flask搭建RESTful API接口，允许前端页面发送HTTP请求获取定制化的购物指南[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值