推荐多样性重排算法之MMR

使用最大边际相关性(MMR)选择示例:提高AI模型的多样性和相关性 最大边际相关性是一种在信息检索和自然语言处理中广泛使用的算法。它的核心思想是在选择相关项目的同时,也要考虑已选项目之间的多样性。找出与输入最相似的示例在添加新示例时,考虑它们与已选示例的不同程度通过平衡相关性和多样性,优化最终选择的示例集最大边际相关性(MMR)是一种强大的示例选择方法,能够在相关性和多样性之间取得平衡。通过LangChain提供的工具,我们可以轻松地在自然语言处理任务中应用MMR,从而提高模型的性能和泛化能力。 阅读详情

“ 本文介绍了推荐系统中的多样性重排序算法Maximal Marginal Relevance (a.k.a MMR) ,并给出了该算法的python实现代码。”

文章来源:icebear  https://zhuanlan.zhihu.com/p/102285855

Maximal Marginal Relevance (a.k.a MMR) 算法目的是减少排序结果的冗余,同时保证结果的相关性。最早应用于文本摘要提取和信息检索等领域。在推荐场景下体现在,给用户推荐相关商品的同时,保证推荐结果的多样性,即排序结果存在着相关性与多样性的权衡。

MMR算法原理

MMR算法将排序结果的相关性与多样性综合于下列公式中:

Maximal Marginal Relevance公式

  : 用户;
   : 推荐结果集合;
   :    中已被选中集合; R\S:   中未被选中集合;
 λ  : 权重系数,调节推荐结果相关性与多样性

这个公式的含义是每次从未选取列表中选择一个使得和(可以是用户也可以是)的相关性与与已选择列表集合的相关性的差值最大,这就同时考虑了最终结果集合的相关性和多样性,通过 因子来平衡。

Python实现

def MMR(itemScoreDict, similarityMatrix, lambdaConstant=0.5, topN=20):
    s, r = [], list(itemScoreDict.keys())
    while len(r) > 0:
        score = 0
        selectOne = None
        for i in r:
            firstPart = itemScoreDict[i]
            secondPart = 0
            for j in s:
                sim2 = similarityMatrix[i][j]
                if sim2 > second_part:
                    secondPart = sim2
            equationScore = lambdaConstant * (firstPart - (1 - lambdaConstant) * secondPart)
            if equationScore > score:
                score = equationScore
                selectOne = i
        if selectOne == None:
            selectOne = i
        r.remove(selectOne)
        s.append(selectOne)
    return (s, s[:topN])[topN > len(s)]

实验结果

MMR算法需要输入推荐商品的相关分数及商品间相似度矩阵。简单起见,采用Item-based协同过滤算法进行Top- N商品推荐。利用协同过滤算法矩阵分解的Item Factors作为商品的向量表征,计算余弦相似度,并将相似度进行线性映射到[0,1]区间,得到商品相似度矩阵。用户   对商品    的相关分数计算如下式:

某用户最近历史浏览商品序列如下图,分别为 男式地表强温廓形羽绒服 、 透气保暖元绒棉花被 、 男式加厚保暖长款羽绒服 、 男式地表强温工装羽绒服 。

用户历史浏览行为

按照协同过滤算法为用户推荐Top10商品,除了直观上对比Top10推荐结果,推荐系统中常常采用下面多样性定量评价指标:

基于用户浏览的四件商品进行Top-10推荐, 协同过滤 推荐结果与 协同过滤+MMR推荐结果如下两图,前者推荐结果相对单一,满屏幕全是羽绒服。后者在推荐坑位有限的情况下,多样性指标上明显更优,除了羽绒服、羽绒被外,还有大衣、运动服、羽绒马甲等商品。

协同过滤Top-10推荐结果

MMR重排Top-10推荐结果

推荐结果多样性指标

可以根据实际推荐场景,选择合适的相似度计算方法和    值。   越大,推荐结果越相关;   越小,推荐结果多样性越高。

参考文献

  1. The Use of MMR, Diversity-Based Reranking for Reordering Documents and Producing Summaries (https://www.cs.cmu.edu/~jgc/publication/The_Use_MMR_Diversity_Based_LTMIR_1998.pdf)

  2. Maximal Marginal Relevance to Re-rank results in Unsupervised KeyPhrase Extraction (https://medium.com/tech-that-works/maximal-marginal-relevance-to-rerank-results-in-unsupervised-keyphrase-extraction-22d95015c7c5)

(完)


MMR: 控制推荐多样性算法 你有考虑过推荐系统的多样性层面是怎么设计的吗? 推荐系统中精排模块是对各个item进行精准预估,而在之后的重排阶段则会整体考虑推荐的N条内容间的关系,给出listwise粒度上最优的推荐序列。 多样性是重排阶段的一个排序策略,已经有文献指出多样性和准确性并非完全矛盾。因为,用户没有点击并不一定是 ctr 预估不准确,而是用户已经点击了类似的东西,这才导致了下一条内容没有点击。所以存在多样性与精确性同时提升的空间。... 阅读详情

相关推荐

推荐系统重排实战:MMR算法如何平衡推荐多样性与用户兴趣

本文深入探讨了推荐系统重排阶段如何应用MMR算法来平衡推荐多样性与用户兴趣。通过解析MMR的核心公式与参数调优,并结合滑动窗口等工业级优化技术,帮助读者掌握在推荐列表中兼顾相关性与多样性的实战方法,有效提升用户体验与关键业务指标。

weixin_28285943的博客 287

最大边界相关法(Maximal Marginal Relevance)的总结

MMR(Maximal Marginal Relevance)是一种重新确定文档序值的方法。 具体公式如下: 由上述公式可以看出sim(Q,di)代表的是di的相关性,而sim(di,dj)代表的是di的冗余性; 而MMR的核心,即在权衡这两种性质,即redundancy=cost,relevance=benefit 具体重定序的算法如下: 解释: 为了得到最初的k个文

Eliza1130的专栏 1万+

【王树森推荐系统】重排02:MMR 多样性算法(Maximal Marginal Relevance)

这节课介绍推荐系统和搜索引擎重排中常用的 Maximal Marginal Relevance (MMR),它根据精排打分和物品相似度,从 n 个物品中选出 k 个价值高、且多样性好的物品。这节课还介绍滑动窗口 (sliding window),它可以与 MMR、DPP 等多样性算法结合,实践中滑动窗口的效果更优。

hxdxiaoming的博客 1002

深度学习 - 52.推荐场景的多样性与 MMR [Maximal Marginal Relevance] 简介与 Python 实现

MMR 最大边界相关算法与多样性简介与实现。

BITDDD小栈 4364

工业界真实的推荐系统(小红书)-重排:多样性算法-MMR、DPP、结合业务规则

王树森老师的硬核课程,由于PPT很多,并且老师的很多经验是口述,没有写在PPT里,网上有一些网友的笔记,但不是很完整,学习起来也比较费事,所以我自己整理了120页的PPT(这里放的是截图),期望能比较完整地把老师的经验呈现出来,同时缩短学习时间。课程特点:系统、清晰、实用,原理和落地经验兼具。

qq_17065591的博客 3600

推荐系统重排:MMR 多样性算法

MMR最初被设计用于解决文本摘要中的重复问题,但其理念很快就被推广到更广泛的领域,如搜索引擎优化、社交媒体内容推荐、在线广告投放等。通过MMR算法,不仅可以确保推荐或检索的结果高度相关,还能增加结果的多样性,使得提供的信息更加丰富和个性化,满足用户的多样化需求。

进一步有进一步的欢喜~ 2158

RecSys: 推荐系统重排与多样性优化(MMR以及DPP算法)

推荐系统的多样性优化,特别是在重排阶段的有效处理,能够显著提升用户使用时长和留存率等关键业务指标。物品相似性度量:基于物品图文内容的向量表征(如CLIP模型)相较于传统的属性标签或双塔模型向量更为有效多样性优化方法:采用MMR(最大边界相关)算法及其滑动窗口改进版本以及(工业界公认比较有用的方法之一),在保持高精排分数的前提下,显著提升推荐结果的多样性。

Mike的博客 2573

告别玄学:手把手配置EtherCAT从站PDI接口与同步采样(含Sync/Latch信号实战)

本文详细解析了EtherCAT从站PDI接口配置与同步采样技术,涵盖微处理器通信与直接驱动IO模式选择、同步采样四大触发模式(SOF、Latch_in、Sync0/Sync1)及输出触发实战。通过伺服驱动器实例,帮助工程师突破配置难点,实现高精度同步控制,提升工业自动化系统性能。

weixin_30667649的博客 484

推荐系统重排实战:如何用MMR算法提升推荐多样性(附Python代码)

本文针对推荐系统重排中多样性不足的痛点,详细解析了如何应用MMR算法提升推荐列表的多样性。通过从业务直觉理解算法核心,到提供带滑动窗口优化的Python实战代码,并探讨参数调优与效果评估,为开发者提供了从理论到落地的完整解决方案,有效平衡推荐的相关性与多样性。

sprite的博客 653

RV1106 SDK 软件开发环境

5.30.1 如何开启休眠唤醒功能以project/cfg/BoardConfig_IPC/BoardConfig-SPI_NAND-NONE-RV1106_EVB1_V11-IPC.mk为例:5.30.2 休眠唤醒方案简介SDK的休眠唤醒采用的方案为:进入休眠状态描述:用户层收到触发事件后,暂停业务流程并主动调用echo mem > /sys/power/state命令使系统进入休眠状态。

xzjiang_365的博客 4253

从零到一:用CubeMX和485模块快速上手多摩川绝对式编码器(附清零操作详解)

本文详细介绍了如何使用STM32CubeMX和485模块快速上手多摩川绝对式编码器,包括硬件连接、STM32配置、协议解析及清零操作。通过具体的代码示例和调试技巧,帮助开发者高效实现编码器数据读取和清零功能,特别适合STM32单片机开发者参考。

weixin_30599769的博客 193

推荐系统重排避坑指南:从MMR到DPP,小红书多样性算法的落地经验分享

本文深入解析推荐系统重排阶段的多样性优化实践,重点介绍MMR和DPP两大主流算法在小红书平台的应用经验。通过算法原理对比、参数调优技巧和工程实现细节,帮助开发者有效提升推荐系统的多样性,平衡用户体验与商业价值。

agile9scrum的博客 799

IBTrACS v04r01 数据提取实战:Pandas 筛选 JTWC/CMA/JMA 3机构最佳路径数据

本文详细介绍了如何使用 Pandas 高效提取和处理 IBTrACS v04r01 数据集中的最佳路径数据,特别针对 JTWC、CMA 和 JMA 三家权威机构的数据进行对比分析。通过构建可复用的数据提取函数,解决多机构数据质量差异问题,并提供高级分析与可视化应用示例,助力热带气旋研究。

clijovtbq401783153的博客 517

工业界真实的推荐系统(小红书)-重排:多样性算法-MMR、DPP的实战优化与业务融合

本文深入探讨了工业界推荐系统重排阶段的核心挑战与解决方案。针对小红书等平台面临的“信息茧房”问题,重点解析了MMR(最大边际相关性)和DPP(行列式点过程)这两大经典多样性算法的实战应用与优化策略。文章详细阐述了如何通过业务化改造(如分层相似度计算、动态参数调节)和工程效率优化,将算法与业务规则(如作者打散、新鲜度加权)深度融合,以在保证相关性的前提下有效提升推荐列表的多样性与用户体验。

a2b3c4d5e的博客 649

汇川EASY521 PLC实战指南:从硬件选型到程序架构与故障排查

可编程逻辑控制器(PLC)是工业自动化系统的核心大脑,其工作原理基于循环扫描机制,持续读取输入、执行用户程序并更新输出。这种确定性控制方式,使其在逻辑控制、顺序控制和运动控制中具有不可替代的技术价值,广泛应用于机械设备、生产线和过程控制等场景。对于汇川EASY521这类紧凑型高性能PLC,其核心优势在于集成了运动控制与丰富通讯接口,为中小型设备提供了高性价比的一站式解决方案。在实际应用中,工程师常需处理如“汇川sv660n”伺服驱动器的集成调试,或利用“hslcommunication”等开源库实现C#上位

weixin_42525264的博客 744

为什么大语言模型推理要分成 Prefill 和 Decode?深入理解这两个阶段的真正意义

Prefill 阶段是语言模型推理中的第一个步骤,它负责处理你输入的所有上下文内容(prompt),为后续生成打下基础。“请解释一下 Transformer 的原理。这句话会被 tokenizer 编码为一串 token,比如["请", "解释", "一下", "Trans", "##former", "的", "原理", "。"]。然后这些 token 会进入 Transformer 模型进行前向传播。重点来了 👇。

Harry的博客 1万+

【第六章:项目实战之推荐/广告系统】3.精排算法-(4)重排算法:MMR、DPP原理精讲

推荐系统重排算法部分讲解了MMR和DPP两种核心算法。MMR(最大边际相关性)为启发式算法,通过平衡相关性和多样性来优化列表;DPP(确定性点过程)则是基于概率的模型,通过核矩阵的行列式计算实现全局多样性优化。两种算法各有优劣:MMR计算简单但参数调优困难,DPP理论完备但计算复杂度高。实践中常将二者结合使用,先通过MMR快速去重,再用DPP做精细优化。重排算法作为推荐系统最后一环,能显著提升内容多样性、平衡用户兴趣并提高用户满意度,广泛应用于电商、视频和新闻推荐等领域。

IT古董 2057

【零基础学习CAPL】——弹窗信息提示

不用手动制作Panel窗口,直接使用CAPL脚本实现弹窗提示。//没有wait超时,等待测试人员确认//有wait超时,对话框在超时后自动终止//有wait超时,可以显示一个资源,即对话框可以显示额外的信息。/*参数说明text:显示在弹窗中的内容,长度限制在4096字符timeout:弹窗自动结束的时间,单位:ms。若为0,则无超时控制heading:对话框文本上方的标题。字符串最大长度限制在256个字符。resource:URL或文件路径。字符串的最大长度是有限的(512个字符)。

LOVE135149的博客 271

推荐系统-重排

本文探讨了推荐系统中提高内容多样性的方法。重点分析了相似性度量标准、提升多样性的途径,以及两种核心算法——MMR(最大边界相关)和DPP(行列式点过程)。同时介绍了重排规则的设计原则,旨在避免推荐过于相似的内容,从而优化用户体验。这些技术手段共同构建了推荐系统多样性的解决方案。

m0_66413986的博客 409

2026年医疗AI的可信革命全栈实现(上)

医疗AI可信化:贝叶斯网络与向量数据库的协同架构 本文探讨2026年医疗AI发展的关键转折点——从追求生成能力转向构建可信决策系统。核心观点认为,医疗AI下一阶段的竞争焦点在于不确定性量化和错误传播约束,而非单纯的问答流畅度。研究提出以Python为开发语言、结合向量数据库与贝叶斯网络的混合架构: 技术分层 语言层(LLM):处理自然语言交互与工具调用 证据层(Milvus/Qdrant):实现可审计的临床知识检索 概率层(pgmpy/PyMC):执行贝叶斯推理与风险路由 治理层:确保权限控制与人工复核机制

AllenLV的博客 1154

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

多样性算法在58部落的实践和思考

导读:本文在明确“推荐系统个体多样性优化”主题后,由整体架构出发,清楚阐述了在召回层、规则层、多样性层的优化细节。在MMR和DPP算法部分既有原理也有实践,最后用图表方式展示出了效果对比,并且结合自身业务特点做了针对性的距离设计。 01 背景 在推荐系统中,衡量系统好坏的指标,除了相关性之外,多样性也是重要的指标之一。但多样性和相关性之间往往存在一些矛盾的地方,本文从业务指标的角度,探讨了多样性和相关性之间如何权衡的思想方法,介绍了多样性算法的落地实践方案,最终达到了通过多样性手段提升业务指标的目的。

hellozhxy的博客 2206

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

【王树森推荐系统】重排03:业务规则约束下的多样性算法

推荐系统有很多业务规则,比如不能连续出多篇某种类型的物品、某两种类型的物品笔记间隔多少。这些业务规则应用在重排阶段,可以与 MMR、DPP 等多样性算法相结合。

hxdxiaoming的博客 442

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

推荐系统王树森(五)重排&多样性提升

本文介绍了推荐系统中提升多样性的重排方法。首先探讨了物品相似性的度量方式,包括基于属性标签和向量表示的方法,其中双塔模型和CLIP预训练可用于跨模态表征。其次详细讲解了MMR多样性算法,通过平衡候选物品的reward和与已选集合的相似度来优化多样性,并引入滑动窗口降低计算复杂度。然后说明如何结合业务规则(如首屏限制、广告频控等)对候选集进行预筛选。最后介绍了基于行列式的DPP算法,将多样性建模为向量空间中的体积最大化问题,并利用Cholesky分解优化计算效率。共同解决了推荐系统在精准度与多样性的平衡问题。

nju_spy的博客 1203

推荐系统:重排

物品相似性的度量。可以用物品标签或向量表征度量物品的相似性。最好的方法是基于图文内容的向量表征,比如 CLIP 方法。 提升多样性的方法。在推荐的链路上,在粗排和精排的后处理阶段,综合排序模型打分和多样性分数做选择。 推荐系统和搜索引擎重排中常用的 Maximal Marginal Relevance (MMR),它根据精排打分和物品相似度,从 n 个物品中选出 k 个价值高、且多样性好的物品。这节课还介绍滑动窗口 (sliding window),它可以与 MMR、DPP 等多样性算法结合,实践中

霜雪i的博客,视频编解码,传统+AI 385

【推荐系统】王树森推荐系统公开课自学笔记6-多样性

基于物品的(类目、品牌、关键词等)基于物品的提升多样性的方法(排序后的结果既需要高排序分数,也需要多样性)精排的后处理通常称为重排。

qq_51676593的博客 827

深度学习 - 重排实战:从理论到代码,详解 MMR 如何平衡推荐质量与多样性

本文深入探讨了MMR(Maximal Marginal Relevance)算法在推荐系统中的应用,通过理论解析与Python代码实现,展示了如何平衡推荐质量与多样性。从相似度计算优化到动态参数调整,详细介绍了MMR的工程实践技巧,帮助开发者提升推荐系统的用户体验与商业价值。

weixin_38167826的博客 447
上一篇: 酒店排名模型中的商业价值度量
下一篇: 数据处理的R包
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值