推荐系统重排：DPP 多样性算法

已于 2025-01-05 21:05:28 修改
阅读量2.1k 收藏 11
点赞数 21
CC 4.0 BY-SA版权
分类专栏： 推荐系统 文章标签： 算法 线性代数 机器学习 DPP 多样性算法 MMR
于 2025-01-05 19:30:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_22866291/article/details/144949410

行列式点过程（DPP）算法：原理、应用及优化

推荐系统【多样性算法】系列文章（置顶）

1.推荐系统重排：MMR 多样性算法
2.推荐系统重排：DPP 多样性算法

引言

行列式点过程（Determinantal Point Process, DPP）是一种用于建模多样性和相关性的概率模型，在推荐系统、图像处理、文本摘要等多个领域有着广泛的应用。本文将深入探讨DPP的基本原理、其在推荐系统中的具体应用，特别是Hulu公司提出的快速求解方法，并介绍如何通过滑动窗口和规则约束进一步优化DPP算法。

一、背景

行列式点过程（DPP）是一种概率模型，最初用于描述粒子物理学中的某些现象，如费米子的分布。它通过行列式的数学构造来捕捉集合中元素之间的负相关性，即当两个元素非常相似时，它们同时出现在同一集合中的概率会降低。这种

了解本专栏 订阅专栏 解锁全文 超级会员免费看
推荐系统[五]：重排算法详解相关概念、整体框架、常用模型；涉及用户体验[打散、多样性]，算法效率[多任务融合、上下文感知]等
丨汀、的博客
03-06 1503
重排是指根据用户的喜好和需求，重新排列推荐结果的顺序，以提高用户满意度和点击率。重排的目的是为了让用户更快地找到自己感兴趣的内容，提高用户体验和转化率。重排的实现方式通常是基于用户反馈和行为数据，通过机器学习和算法优化来调整推荐结果的排列顺序。解决展示列表总体最优与资源位置平衡的问题。上面的图展示了策略可能在模型附近出现的环节，其中黄色标出来的部分都是策略部分。可以看到，策略本身就可以成为一路召回，比如前面讲的按照热度或者精品池召回。
推荐算法架构4：重排
谢杨易的博客
02-23 8499
1 总体架构 精排打分完成后，就到了重排阶段，之后可能还会有混排。召回、精排、重排三个模块中，重排离最终的用户展现最近，所以也十分关键。重排的技术点也十分多，总结下来，个人认为重排主要是为了解决三大方面的问题：用户体验、算法效率、流量调控。下图是重排总体架构 2 用户体验 重排模块是推荐系统最后一个模块（可能还会有混排），离用户最近。作为最后一层兜底，用户体验十分重要。主要包括打散、多样性等内容。曝光过滤有时候也会放在重排中，但本质上完全可以在召回链路，对已充分曝光的短视频，或者刚刚已经购买过
DPP多样性
大数据
11-04 2768
一、推荐系统目标 推荐系统的目标主要包含两个方面：Exploitation和Exploration 。 在Exploitation中最重要的是Relevance( 相关性 ) 的计算，其根本思想是根据用户浏览、观看和收藏的内容等用户行为数据推测该用户可能采取的行动。常见的推荐算法大多是基于针对该目标的优化而展开的。 然而用户行为数据在现实中很可能过少、不足以全面地体现用户的兴趣。这一现象在冷启动等场景中很常见。此时推荐系统还有责任挖掘用户尚未表现出的兴趣，并且避免由于现有行为数据...
【推荐系统】行列式点过程(DPP)算法推导
Light.T的博客
11-24 4407
DPP 一、背景 推荐系统主要解决用户和物品之间的相关性，以及推荐列表的多样性。相关性主要通过用户兴趣和物品之间的匹配程度来衡量，希望把用户感兴趣的物品推荐给用户，可以通过CTRß预估模型来构建。多样性的衡量没有那么直观，一种方法是计算不同Item之间的cosin值，值越小表明多样性越好。 Hulu在NIPS 2018会议上发表的论文《Fast Greedy MAP Inference for Determinantal Point Process to Improve Recommendation Div
重排利器：行列式点过程（DPP）在推荐系统中的应用
最新发布
AlgoCraft
06-29 631
摘要： 推荐系统重排阶段常面临结果同质化问题。行列式点过程（DPP）通过建模相关性与多样性的平衡，利用核矩阵的行列式计算子集概率，几何上对应向量集的多样性。核矩阵构造结合物料质量分与相似度（如高斯核），并通过贪婪算法（Fast Greedy MAP）高效求解。工程实现中优化核矩阵正定性、个性化加权（如华为pDPP）及增量计算（Cholesky分解）。实际应用需结合特征工程（如双塔Embedding）、负样本策略及Faiss加速。案例显示DPP显著提升多样性（Hulu指标提升11%）与用户时长。
推荐系统论文拾遗之1——行列式点过程(DPP)多样性控制
路漫漫其修远兮
03-29 5888
推荐系统论文拾遗之1——DPP多样性控制背景解决方案DPP多样性控制工程实践 背景 推荐系统大多会经过召回、粗排、精排和策略层后展示给用户，精排中大多数是以CTR为基础目标的。当给一个用户推荐内容时，往往可能造成某一个兴趣点的内容比较集中，虽然预估CTR会比较高，但未必能得到用户的青睐，主要原因在于用户的兴趣往往不是单峰的。比如一个用户可能会有综艺、美食、体育这三大类兴趣，但是在整个推荐系统中，综...
dpp:DPP算法实现
03-21
DPP多样性算法实现 文件说明 演示文件夹下面是Java版本的实现demo 其他文件夹下面是C ++版本和Python版本的实现演示 src文件夹下是一个SpringBoot工程，将DPP算法工程化，对外提供REST服务。 多样算法介绍 性能调优
推荐系统重排：MMR 多样性算法
进一步有进一步的欢喜~
01-05 1699
MMR最初被设计用于解决文本摘要中的重复问题，但其理念很快就被推广到更广泛的领域，如搜索引擎优化、社交媒体内容推荐、在线广告投放等。通过MMR算法，不仅可以确保推荐或检索的结果高度相关，还能增加结果的多样性，使得提供的信息更加丰富和个性化，满足用户的多样化需求。
行列式点过程DPP(推荐多样性提升)算法公式详细推导
CDSNQG的专栏
02-20 3330
测试
推荐系统:最大边缘相关多样性算法(MMR)(python实现)
Mercedes_wwz的博客
10-12 1862
MMR论文 Q：用户 R：待排序商品集合 S：已排序商品集合 D：商品 Maximal Marginal Relevance(MMR)主要通过结合用户对于商品的喜爱程度与商品间的相似度加权求和，从而对商品进行重排精排 class MMRModel(object): # def __init__(self,item_score_dict,similarity_matrix,lambda_constant,topN): # self.item_score_dict = item_s
【推荐系统】推荐算法：冷启动-召回-粗排-精排-重排 解读
Danger的博客
10-31 2954
【推荐系统】推荐算法：冷启动-召回-粗排-精排-重排 解读
基于动态编程的元学习方法——Dynamic Program Prior (DPP)，用于降低元学习过程中的重复计算量
AI天才研究院
08-03 965
随着人工智能的飞速发展，深度学习、强化学习等模型的性能越来越好，已经取得了巨大的成功。然而，这些模型仍然存在很多不足，比如学习效率低、泛化能力弱、适应性差。如何提升模型的性能和效果，是目前研究者们需要解决的问题之一。近年来，基于元学习（meta learning）的方法被提出，通过利用机器学习的自学习能力来促进模型的训练。尽管元学习方法在提高模型的性能方面有着很大的作用，但其代价也是昂贵的，即每次模型训练都需要重新训练一个新的元学习器，这将导致训练耗时过长。
推荐系统（五）再谈召回、打分和重排
Jin_Kwok的博客
07-18 1057
在《机器学习28：推荐系统-概述》一文中，笔者概述了推荐系统的基本术语和一般架构，通过【推荐系统 I～IV】系列课程的学习，相信读者对推荐系统已经有了一定的理解。本节，我们再来回顾一下推荐系统的核心环节——召回、打分、重排。
DPP重排算法
程序认生
04-25 6299
一、背景 多样性和相关性是衡量推荐系统的常用的指标，这两个指标同时影响着推荐系统的商业目标和用户体验。假设我们有一个待推荐的候选商品集合，针对一个给定的用户，推荐系统需要选择商品集合中的个商品展现给用户，同时希望展现给用户的商品列表满足一定相关性和多样性。这就是我们要解决的问题，那么首先我们必须弄清楚如何衡量相关性和多样性。Hulu在NIPS 2018 会议上发表的论文《Fast Greedy MAP Inference for Determinantal Point...
推荐系统混排 - DPP算法
这个人很懒，没有写简介
01-09 1252
是一种用于建模和选择具有多样性的子集的概率模型。DPP是通过行列式来度量子集之间的多样性，它广泛应用于机器学习、信息检索、推荐系统、自然语言处理等领域，尤其适用于需要同时考虑和的场景。
推荐算法：重排
qq_34517343的博客
10-19 1119
精排：给定n个候选物品，模型打分reward1，…贪心算法每轮从R中选一个，先用规则排除一部分得到R‘，再求解选择。精排给定n个候选物品，模型打分reward1，…面积：底×高（根据投影计算），衡量多样性，面积/体积大→多样性。随着S变大，相似物品越来越多，物品向量趋近线性相关，设置滑动窗口W，选中最近的10个物品，用W代替S。每一轮先用规则排除掉R中的部分物品，得到子集R’rewardn，选k个。要求k个物品，需要求解公式k次，总时间复杂度。因为随着S增大，sim约等于1，MMR失效。
行列式点过程 (Determinantal Point Process, DPP)
qq_46600553的博客
01-31 2947
行列式点过程(Determinantal Point Process, DPP)是一种概率模型，用来从全集Z\bm{Z}Z中抽取相关性和多样性最大的子集A\bm{A}A。子集被抽中的概率等于子集核矩阵的行列式与全集核矩阵的行列式的比值，即PLAdetLAdetLI(1)PL​AdetLIdetLA​​1其中，III为单位矩阵，∣P∣N|P|=N∣P∣N。核矩阵LLL。
推荐系统如何进行重排序——阿里巴巴PRM模型详解
WitsMakeMen的专栏
07-20 2388
1、为了解决推荐系统排序全局最优解的问题，文章对重排模块进行了较为详细的介绍2、在重排序部分，文章提出了基于Transformer结构的个性化重排序模型，显著提升了线上系统的曝光、点击、GMV等指标。3、使用listwise的思想对整个序列进行 优化。
从多样性谈起到dpp
程序人生
04-10 1372
在推荐算法中，除了要考虑个性化，还要兼顾多样性，不然用户很快就会觉得单调无趣。 在衡量推荐结果的多样性时，自然而然能想到的是统计推荐结果中含有不同tag的个数，tag的个数越多，多样性越好。但是这种指标有个问题，它与用户看的内容条数正相关，用户看的内容条数越多，自然tag个数会越多。假设一条feed平均有3个tag，只看了1条feed用户的多样性指标是3；看了10条feed的用户，总共有30个 tag，假设有50%的重合度，有15个不同tag，大大高于看了1条feed的用户。 为了抵消feed条数的影响，于
使用行列式点过程优化推荐系统多样性
"这篇文档是关于使用行列式点过程（Determinantal Point Process, DPP）来提升推荐系统多样性的技术报告。报告由Laming Chen在Hulu公司编写，详细介绍了如何在Hulu的推荐系统中应用DPP以实现更丰富的推荐结果。报告...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

进一步有进一步的欢喜

您的鼓励将是我创作的最大动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值