如何解决高维稀疏的user-item矩阵推荐问题？

最新推荐文章于 2024-08-05 00:28:13 发布
最新推荐文章于 2024-08-05 00:28:13 发布
阅读量1.1k 收藏 1
点赞数
文章标签： 神经网络 深度学习 机器学习 python 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_52122378/article/details/122839080
版权
这篇博客介绍了如何利用GLocal-K框架解决推荐系统中的高维稀疏user-item矩阵问题。该框架通过预训练的自动编码器结合局部和全局核方法，对rating矩阵进行补全。预训练阶段采用局部核化权重矩阵，增强稠密和稀疏连接；fine-tuning阶段应用全局卷积核，以提取更有效的特征。论文提出的方法有助于推断user-item矩阵中缺失的评分。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

推荐系统最重要的就是解决高维稀疏的user-item矩阵推荐问题,基于百万用户感兴趣的item给一个用户推荐他最感兴趣的item是相当有挑战的事.这篇论文<GLocal-K: Global and Local Kernels for Recommender Systems>就提出了一个新的框架Global Local Kernel-based matrix completion(GLocal-K)去解决高维系数的user-item矩阵补全问题.

7b68439fdc8028343fccae5521025ffd.png

GLocal-K可分为两个主要阶段。首先，我们使用局部核化权重矩阵预训练一个自动编码器，它使用2d RBF核将数据从一个空间转换为特征空间。然后预训练的自动编码器通过基于卷积的global kernel对rating矩阵进行fine-tune.

45e317e2befc694b96e5063b73ee4625.png

如下图所示,两个阶段分别用了两种kernel

  • 预训练阶段 - local kernelised weight matrix
  • fine-tuning阶段 - global-kernel based matrix

需要注

最低0.47元/天 解锁文章
炼丹笔记
关注
海量数据相似数据查找方法（ANN）：【高维稀疏向量的相似查找——MinHash, LSH, SimHash】【稠密向量的相似查找——Faiss、Annoy、ScaNN、Hnswlib】
u013250861的博客
02-11 1271
主要分为和两大方向。
【推荐系统原理与实践】协同过滤推荐算法、基于内容的推荐、深度学习、矩阵分解、嵌入层、注意力机制、优化算法等
AI天才研究院
07-10 1445
推荐系统（Recommendation System）在过去的几十年中，随着互联网技术的兴起和用户生成内容（UGC）的增多，得到了广泛的应用。它通过分析和挖掘用户的行为数据，为用户推荐他们可能感兴趣的商品、文章、音乐、视频等内容，极大地提升了用户的满意度和体验。推荐系统在电子商务、社交媒体、流媒体平台、新闻聚合网站等多个领域中发挥了重要作用，甚至影响着用户的决策过程。
稀疏矩阵
zhongjie的专栏
05-13 1万+
一、稀疏矩阵的定义　　对于那些零元素数目远远多于非零元素数目，并且非零元素的分布没有规律的矩阵称为稀疏矩阵（sparse）。　　人们无法给出稀疏矩阵的确切定义，一般都只是凭个人的直觉来理解这个概念，即矩阵中非零元素的个数远远小于矩阵元素的总数，并且非零元素没有分布规律。　　　　二、稀疏矩阵的压缩存储　　由于稀疏矩阵中非零元素较少，零元素较多，因此可以采用只存储非零元素的方法来进行压
【推荐系统】User-Item CF：GC-MC
zzy_NIC的博客
01-24 959
本次解读的文章是 2017 年 arXiv 的一篇基于图卷积神经网络的用户物品协同过滤推荐算法论文，名为《Graph Convolutional Matrix Completion》
LR和GBDT高维稀疏特征
bit_max的博客
09-23 6542
LR和GBDT高维稀疏特征 面试被问到GBDT是否适合处理高维稀疏特征，没有答上来，感觉自己对模型理解深度不够。 结论：LR适合处理高维稀疏特征，而GBDT不适合。 主要原因有： 1、高维特征会导致gbdt运行过于耗时 2、从高维稀疏特征中难以进行有效的特征空间划分，且对噪音会很敏感。 想想一个例子，有个年龄特征0~100，如果对这样特征进行one-hot编码后变为稀疏特征，第i维表示是否为i岁。...
高维稀疏特征的时候，lr 的效果会比 gbdt 好
s37
04-12 7541
高维稀疏特征的时候，lr 的效果会比 gbdt 好，为什么？ 这个问题我也是思考了好久，在平时的项目中也遇到了不少 case，确实高维稀疏特征的时候，使用 gbdt 很容易过拟合。 但是还是不知道为啥，后来深入思考了一下模型的特点，发现了一些有趣的地方。 假设有1w 个样本， y类别0和1，100维特征，其中10个样本都是类别1，而特征 f1的值为0，1，且刚好这10个样本的 f1特征值都为1，其余
高维数据稀疏表示-什么是字典学习（过完备词典）
dianqiquan0623的博客
01-28 1293
Table of Contents 1. 稀疏表示理论背景 1.1. 稀疏表示的由来 1.2. 啥是高维数据 1.3. 高维数据的特点 1.4. 稀疏表示原理 2. 过完备字典完成稀疏表示理论计算理论 2.1. 稀疏求解的方法 2.2. 字典构造的方法 3. 总结 稀疏表示理论背景 稀疏表示的由来 稀疏表示理论最早是在研究信号处理应用中发展起来得。其基础是多尺度分...
推荐引擎的魔力：个性化推荐背后的技术
热门推荐
张彦峰的博客
11-04 9万+
推荐引擎的工作过程是一个复杂的流程，需要深入了解用户兴趣、文章内容和各种推荐算法，以生成个性化的推荐列表。这个过程结合了用户行为数据的分析、用户画像、文章画像以及不同的推荐策略，以提供用户满意的推荐体验。不同的推荐系统可以根据需求和数据采用不同的组合和算法。在建立用户画像和文章画像之后，推荐引擎可以根据需求采用不同的推荐算法来为用户提供文章推荐。主要的推荐算法分为两大类：基于统计的静态召回算法和个性化召回算法。
第八篇：数据稀疏性：推荐系统面临的挑战
最新发布
AI天才研究院
08-05 1202
第八篇：数据稀疏性：推荐系统面临的挑战 1. 背景介绍 1.1 推荐系统的重要性 在当今信息爆炸的时代,推荐系统已经成为帮助用户发现感兴趣的项目(如产品、服务、信息等)的关键工具。无论是电子商务网站推荐商品、视频流媒体平台推荐电影还
KDD 2019高维稀疏数据上的深度学习Workshop论文汇总
AI科技大本营
08-27 2838
作者 |深度传送门来源 |深度传送门【导读】本文是“深度推荐系统”专栏的第九篇文章，这个系列将介绍在深度学习的强力驱动下，给推荐系统工业界所带来的最前沿的变化。本文简...
高维稀疏时，线性模型比非线性效果好的原因
WGS.
09-27 518
现在的GBDT和LR的融合方案真的适合现在的大多数业务数据么？现在的业务数据是什么？是大量离散特征导致的高维度离散数据。而树模型对这样的离散特征，是不能很好处理的，要说为什么，因为这容易导致过拟合。下面的一段话来自知乎： https://www.freesion.com/article/2770862148/ ...
2021-06-16 Datawhale GNN组队学习--Task01
akachanmama的博客
06-16 389
@[Datawhale GNN组队学习——Task02] 推荐系统中的图结构数据 推荐系统中的涉及到的对象（user、item、feature等）大多数显式或隐式连接，构成天然的图并互相影响。基于图的推荐系统（GLRS）考虑到对象间的复杂关系，不仅可以丰富对象表示，还可以借助图推理提升推荐系统的可解释性。 如何考虑不同的图结构的信息，为推荐系统带来了不同的挑战： 树状图（item层次图）：item间具有层次关系。同层不同类的相邻item可能具有互补性（配套使用），同类item可能具有替代性（应避免重复推荐
推荐系统简述
qq_35608277的博客
12-28 915
基本任务解决信息过载，发掘用户兴趣用户行为数据eg:小明早上9点打开了亚马逊，先是浏览了首页，点击了几个热销的西装链接，然后在搜索栏输入了nike篮球鞋，在浏览了8双球鞋后，看了一些购买者的评价，最终选定了air jordan的最新款。 将这条行为拆分成设定好的数据块，再以一定的数据结构，存储到亚马逊的用户行为数据仓库中。冷启动问题定义：没有大量且有效的用户行为数据，利用商品本身的内容数据 **
User-Item特征
十一城
01-05 462
User 基本属性、行为统计、画像偏好、实时行为几类特征 Item 统计行为 基本属性 物品作者侧的特征 Context 交互时间 网络环境 等 User-Item交互行为 浏览 点击 点赞 转发 评论 关注 推荐 支付
推荐系统-召回层：user-item双塔架构
u013250861的博客
06-04 658
双塔模型被广泛应用于推荐系统的召回和粗排阶段，应用过程中也存在一定区别： （1）负样本构造召回：正样本是真实正例，负样本通过采样（全局采样、batch内采样等）得到 粗排：要接近精排，样本与精排一致，正负样本都是从用户的真实正负例中选取 召回是从海量候选集中，要把用户可能感兴趣的或完全不相关的item区分开来，所以召回在线上所面对的数据环境，就是鱼龙混杂、良莠不齐，负样本除了曝光未点击的真实负例外，也要包含未曝光的样本，目的就是让训练样本尽量符合线上真实分布，让模型“见见世面“。（2）线上预测召回：把ite
推荐系统之-协同过滤(userCF、itemCF)
traveler-leon的博客
12-22 1489
什么是协同过滤？ 通常协同过滤指代就是userCF，和itemCF。 userCF也就是基于用户协同，本质就是找到与自己相同的用户，将相似用户有过行为的物品而我没有过行为的物品推荐给我； itemCF是基于物品的协同，本质是找到物品的相似物品，将我有过行为的物品的相似物品推荐给我。 所以本质上说，协同就是相似，是一个不断的在找相似的一个过程，既然是寻找相似，那自然要有一个标准来度量相似情况，通常有以下的集中相似描述的机制 在介绍相似的描述标准的时，要介绍以下用户物品打分矩阵。通常一个网站如果有打分机制的话，
推荐系统BPR学习-2
m0_64982495的博客
01-26 127
user-item矩阵(评分矩阵)，记为Rm×n。可以将其分解成两个或者多个矩阵的乘积，假设分解成两个矩阵Pm×k和Qk×n，我们要使得矩阵Pm×k和Qk×n的乘积能够还原原始的矩阵Rm×n。是指将一个矩阵分解成两个或者多个矩阵的乘积，实际推荐计算时不再使用大矩阵，而是用分解得到的两个小矩阵：一个是由代表用户偏好的用户隐因子向量组成，另一个是由代表物品语义主题的隐因子向量组成。
在matlab中把距离归一化,怎么将一组数据归一化到（0，1）之间，用matlab编程?请帮忙...
weixin_42376799的博客
03-16 1086
很简单，用函数mapminmax，文档太长我就不翻译了，只提醒几个关键1默认的map范围是[-1,1]，所以如果需要[0,1]，则按这样的格式提供参数:MappedData=mapminmax(OriginalData,0,1);2只按行归一化，如果是矩阵，则每行各自归一化，如果需要对整个矩阵归一化，用如下方法：FlattenedData=OriginalData(:)...
深度学习-神经网络基础 吴恩达第一课第二周作业1(Python Basics with Numpy)
Brianone的博客
05-01 399
1 - Building basic functions with numpy 1.1 - sigmoid function, np.exp() # GRADED FUNCTION: sigmoid import numpy as np # this means you can access numpy functions by writing np.function() instea...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值