- 博客(50)
- 收藏
- 关注
RSS订阅原创 大模型偏好对齐横向对比：PPO、DPO、GRPO 怎么选？面试核心考点汇总
本文系统梳理PPO、DPO、GRPO三种对齐算法的核心定位与工程选型逻辑：DPO适用于主观偏好对齐，稳定高效；GRPO专攻可验证的推理任务，免人工标注；PPO则用于极致精调，效果上限最高。面试关键在于结合场景快速决策——“主观用DPO，客观用GRPO，精调用PPO”。评估需双轨并行：自动指标（如MMLU/GSM8K）测“会不会”，人工WinRate测“好不好”。仅靠自动指标无法衡量对齐效果，真实落地必须兼顾两者。
2026-09-22 11:59:39
239
原创 GRPO 组相对策略优化：面向数学/代码推理的偏好对齐，DPO 的 group 版本
GRPO是针对数学推理、代码生成等可自动验证任务的升级版对齐方法，突破DPO依赖人工成对标注的瓶颈。其核心是：单prompt生成多答案，机器自动打分后基于组内相对排名优化模型，无需人工干预。相比DPO的“两两对比”，GRPO采用“组内相对”策略，更契合推理任务的试错特性，显著降低标注成本，提升训练效率与推理能力。但仅适用于有客观标准答案的场景，不适用于主观风格对齐。面试必答：GRPO核心优势在于零人工标注、适配可验证任务，适用场景为数学、代码等客观推理，不适用于聊天风格等主观偏好。
2026-09-22 11:36:23
295
原创 DPO 直接偏好优化（二）：数据集、训练、调参、局限与变种
本文从工程落地视角详解DPO训练全流程：强调数据质量决定模型上限，核心为“prompt+chosen+rejected”三元组；采用策略模型（可更新）与参考模型（冻结）协同架构，结合LoRA/QLoRA实现低显存训练；关键参数β控制对齐强度，学习率与LoRA rank影响收敛与泛化；通过loss曲线诊断问题，避免模式崩溃；总结DPO优势在于流程简、成本低、易复现，但依赖高质量数据，适用于偏好对齐任务，不适用于需精确奖励的场景。
2026-09-22 11:06:11
291
原创 DPO 直接偏好优化（一）：为什么不需要奖励模型？从 RL 目标推导 DPO 损失
本文系统推导DPO（直接偏好优化）的数学原理，揭示其无需显式奖励模型的核心逻辑。从带KL约束的RLHF目标出发，通过解析最优策略与奖励的关系，将人类偏好转化为基于策略概率比的分类损失，实现与PPO的数学等价。DPO以SFT模型为参考，仅通过偏好对数据直接优化策略，简化训练链路，提升稳定性与效率。核心优势在于去除了奖励模型训练环节，降低工程复杂度，同时保持对齐效果。β参数控制策略偏离参考模型的程度，影响训练稳定性和对齐强度。理解该推导是掌握大模型对齐算法的关键，也是算法岗面试高频考点。
2026-09-22 10:22:51
187
1
原创 RLHF 三阶段详解：从奖励模型到 PPO 近端策略优化
RLHF 通过「SFT → RM → PPO」三阶段流水线，把人类偏好注入大语言模型。奖励模型用成对排序损失学习人类偏好，PPO 则通过 Clip 机制稳定地优化策略，同时用 KL 惩罚约束模型不偏离参考策略太远。理解这条流水线，是掌握大模型对齐技术的基础，也是面试中展示功底的必考点。
2026-09-14 11:37:23
132
原创 大模型后训练（Post-training）入门：从 SFT 到偏好对齐
大模型后训练是在预训练后提升模型指令遵循与人类对齐能力的关键阶段。SFT（监督微调）通过指令-回答对让模型学会模仿高质量回复，但仅能“复制”样本，无法判断回答优劣。其局限在于缺乏相对评价机制，导致泛化差、易过拟合。为此引入偏好对齐：基于成对偏好数据（chosen/rejected），让模型学习“哪个回答更好”，弥补SFT的不足。该过程需权衡对齐税——过度对齐可能牺牲通用能力。后续将深入探讨RLHF、DPO等算法如何实现高效对齐。
2026-09-14 10:28:23
275
原创 从神经元到深度网络：神经网络为什么能起作用
单个神经元是线性分类器，可实现二分类、线性回归和特征组合，但仅能处理线性可分问题。一层神经元通过多个神经元并行输出，支持多分类、多输出回归与特征变换，仍受限于线性边界。多层神经网络借助非线性激活函数，实现非线性决策边界，可解决异或等复杂问题，具备逼近任意连续函数的能力。其核心在于前向传播、损失计算、反向传播与梯度下降的迭代优化，使网络从数据中自动学习层次化特征，完成复杂映射。
2026-09-10 17:07:57
430
原创 【NeurIPS 2024】LLM-ESR：用大语言模型破解序列推荐的长尾难题
在电商和社交媒体的世界里，序列推荐系统（Sequential Recommendation Systems, SRS）就像一个贴心的购物助手，它通过分析用户的历史行为来预测他们接下来可能感兴趣的商品。：对于长尾用户，LLM-ESR通过检索与目标用户语义相似的用户，并利用他们的交互信息来增强目标用户的偏好表示，就像是给长尾用户“借”了一些有用的信息。LLM-ESR它提出了一个全新的框架，用LLM的语义嵌入来增强传统的SRS，而且完全不用担心LLM带来的额外推理负担。其实，之前的研究者们也尝试过解决这个问题。
2025-03-16 19:59:46
1139
原创 【文献阅读】SPRec：用自我博弈打破大语言模型推荐的“同质化”困境
这篇论文提出了一个全新的框架——，它的核心思想是通过自我博弈（Self-Play）机制来打破这种同质化的困境。🚀监督微调（SFT）首先使用正样本（用户实际交互过的项目）来训练模型，让模型学习用户的偏好。直接偏好优化（DPO）：然后，将SFT阶段的正样本作为正样本将模型上一次迭代的预测结果作为负样本，重新训练模型。这样做的目的是让模型在学习用户偏好时，能够动态地抑制那些过于热门的项目，从而增加推荐的多样性和公平性。💡📊输入输出的转变。
2025-03-12 20:39:43
935
原创 【文献阅读】DeepRAG：大语言模型的检索增强推理新范式
二叉树搜索（Binary Tree Search）模型通过二叉树搜索为每个子查询探索两种策略：直接使用参数化知识或检索外部知识库。这不仅分解了问题，还考察了不同检索选择对最终答案的影响。🔍模仿学习（Imitation Learning）通过合成数据，让模型学习最优的推理路径，即在最小化检索成本的同时生成正确答案。这一步骤让模型学会了如何高效地分解问题并生成中间答案。🎓链式校准（Chain of Calibration）这一步进一步优化模型对自身知识边界的认知。
2025-03-12 19:23:27
1408
原创 LLM增强强化学习：开启智能决策的新篇章
LLM增强的强化学习为解决传统RL的诸多挑战提供了新的思路和方法。LLM作为信息处理器、奖励设计者和决策者，分别从数据处理、奖励设计和决策支持等方面为RL注入了强大的能力。这种结合不仅让智能体能够更好地理解和处理多模态信息，还提高了学习效率和泛化能力，为RL在复杂任务中的应用开辟了新的可能。🌟。
2025-02-20 21:01:38
1379
原创 【文献阅读分享】Mitigating Matthew Effect in Conversational Recommendation
在推荐系统领域，马太效应是一个棘手的问题。通俗来说，就是热门项目总是更受关注，而小众项目则被边缘化。这种现象在用户与系统交互过程中会进一步加剧，导致推荐结果的单一化和不公平。现有的方法大多关注静态推荐场景，但忽略了动态用户系统反馈循环中的马太效应问题。因此，本文提出了一种新的框架——HiCore，旨在通过学习多级用户兴趣来缓解对话推荐系统中的马太效应。用户兴趣多样性：许多研究致力于通过理解用户的多样化兴趣来提升推荐的多样性，但这些方法大多集中在静态场景中。缓解流行度偏差：另一些研究则专注于减少流行度偏差，以
2025-02-19 12:58:57
1767
原创 【文献精读】AAAI24:FacetCRS：打破对话推荐系统中的“信息茧房”
FacetCRS通过多维度偏好学习动态捕捉用户偏好，有效缓解了对话推荐系统中的“信息茧房”现象。其创新的多维度融合方法和端到端框架，不仅提升了推荐质量，还增强了对话生成能力。未来，我们期待这一方法在更多实际场景中的应用，为用户提供更加个性化、多样化的推荐体验。#FacetCRS #对话推荐系统 #信息茧房 #多维度偏好学习。
2025-02-18 20:01:52
1502
2
原创 文献阅读分享FedNews：联邦学习下的新闻推荐模型研究
新闻模型的目标是构建新闻内容的表示。它通过交叉选择编码（cross-selective encoding）和交叉注意力编码（cross-attention coding）两个主要过程来实现。新闻标题和内容首先被转换为语义词嵌入，然后通过双向LSTM网络提取特征，生成语义记忆向量。接下来，通过门控交叉选择网络实现标题和内容之间的语义交互，最终生成新闻表示向量。📈隐私保护：通过在用户设备上本地存储数据和应用LDP技术，显著降低了隐私泄露风险。🛡️模型性能。
2025-02-13 11:29:35
1103
原创 文献阅读分享：LLM4Rerank——基于LLM的推荐系统自动重排序框架
例如，从“Accuracy”节点开始，可能经过“Diversity”和“Fairness”节点，最终到达“Stop”节点，完成重排序。本文提出了LLM4Rerank，一个基于LLM的自动重排序框架，旨在通过自动整合多种重排序需求（如准确性、多样性和公平性），实现可扩展性和个性化。近年来，随着大型语言模型（LLM）的发展，其在信息检索和推荐任务中的潜力逐渐被挖掘，但直接应用于重排序任务时仍面临挑战，如上下文长度限制和语义理解的复杂性。：定义重排序的重点，如“主要关注准确性，其次考虑多样性”。
2025-02-12 10:13:30
1355
原创 KERL文献阅读分享：知识图谱与预训练语言模型赋能会话推荐系统
KERL框架的结构非常清晰，主要由三个模块组成：知识图谱编码模块、推荐模块和对话生成模块。
2025-02-10 20:50:59
1033
原创 【文献阅读分享】PAP-REC：个性化自动提示生成框架✨
PAP-REC框架的核心是自动生成个性化提示。它通过梯度方法来优化提示中的触发词，从而提高推荐性能。任务特定的触发词和用户特定的触发词。任务特定的触发词用于指导模型理解推荐任务的类型，而用户特定的触发词则用于捕捉用户的个性化偏好。通过这种方式，PAP-REC能够为不同的用户生成不同的提示，从而实现个性化推荐。具体有一下三个点基于梯度的提示搜索：PAP-REC框架的核心是利用基于梯度的方法自动生成个性化提示。具体来说，它通过计算提示中每个位置的梯度，选择能够最大化目标值生成概率的词汇作为提示的一部分。
2025-02-10 20:25:34
1116
原创 文献阅读分享《新闻推荐中的审议式多样性：操作化与实验用户研究》
输出则是一个为用户量身定制的新闻推荐列表，其中政治新闻和非政治新闻按照一定的比例混合排列，以确保用户在浏览新闻时能够接触到不同政党的观点。然而，这种多样化的新闻曝光并未显著改变用户的投票行为，表明新闻推荐系统对用户的政治态度和行为的影响可能较为复杂，需要进一步研究。：不仅关注新闻推荐对用户政治知识的影响，还考察了其对用户政治态度和投票行为的潜在影响，为全面评估新闻推荐系统的社会影响提供了新的视角。：开发了一种新的新闻推荐算法，通过调整新闻文章的排序，确保不同政党的新闻在推荐列表中具有相似的可见性。
2025-02-06 21:31:27
1161
原创 文献阅读分享：MixRec——异构图协同过滤的创新之作
MixRec通过创新的异构超图架构和对比学习范式，为推荐系统领域带来了新的突破。它不仅能够有效处理用户行为的异质性，还能在数据稀疏的情况下保持出色的性能。如果你对推荐系统感兴趣，MixRec绝对值得一读。说不定，它还能激发你新的灵感呢！💡。
2025-02-05 12:07:06
1056
原创 文献阅读分享：《负面情绪更吸睛？利用大型语言模型重构新闻推荐系统中的情感框架》
此外，负向情感框架的新闻标题显著提高了用户的付费意愿，而正向情感框架则对付费意愿影响较小 [4]。有趣的是，文本与图像的情感一致性对用户参与度的影响并不显著，但在付费意愿上表现出一定的交互作用 [5]。每篇文章生成正向和负向两种情感框架的标题，并搭配不同情感倾向的图像。本文研究表明，LLM驱动的负向情感框架重构能够显著提高用户的付费意愿，尤其是在文本与图像情感一致的情况下。未来的研究可以进一步探索多模态情感框架在不同新闻主题和用户群体中的效果，同时考虑引入更复杂的交互因素，如用户的社会背景和新闻消费习惯。
2025-01-30 22:03:48
997
原创 【文献阅读】自然语言辅助多模态药物推荐模型：NLA-MMR
患者模态：包括诊断、程序和症状的文本描述。药物模态：包括药物的化学结构（分子图）和文本描述。
2025-01-20 09:59:30
875
原创 文献阅读分享：《Top-K Off-Policy Correction for a REINFORCE Recommender System》
输入是用户与系统的交互序列，包括推荐系统采取的动作（推荐的视频）和用户反馈（如点击和观看时间）。输出则是预测下一步要推荐的视频，以提高用户满意度指标（如点击率或观看时间）。模型通过将问题转化为马尔可夫决策过程（MDP），并使用REINFORCE算法来学习推荐策略。这就好比我们根据用户之前的行为，预测他们接下来最可能感兴趣的电影。🎬实验📊作者通过一系列模拟实验和在线实验来验证方法的有效性。
2025-01-19 16:26:02
661
原创 ExpGCN：深度解析可解释推荐系统中的图卷积网络
子图构建：基于用户-项目-解释交互立方体，构建三个子图：用户-解释偏好子图（GUA）、项目-解释偏好子图（GIA）和用户-项目交互子图（GUI）。每个子图的边权重分别表示用户对解释的提及次数、项目对解释的提及次数和用户对项目的交互次数。表示学习：在每个子图上执行图卷积操作，采用线性图卷积（LGC）和平均层聚合策略。通过迭代传播，计算每个节点的表示。为了缓解过平滑问题，将每层的节点表示组合为最终的节点表示。解释偏好建模。
2025-01-18 20:57:45
1577
原创 文献阅读分享：LIGHTGCL - 图对比学习在推荐系统中的新突破✨
实验还验证了LightGCL在训练效率上的优势，相比现有的GCL方法，它的训练效率更高。与传统的随机增强方法相比，SVD增强能够更好地保留用户-项目交互的重要语义，避免了因随机扰动而引入的噪声。然而，现实总是充满挑战，数据稀疏性问题就像一座大山，阻碍了我们从有限的交互数据中学习到高质量的用户和项目表示。这种简化的对比方式不仅提高了模型的效率，还能够增强主视图的表示，使其更好地反映用户特定偏好和跨用户全局依赖。在推荐系统的世界里，图神经网络（GNN）凭借其强大的学习能力，成为了基于图的推荐系统中的热门选择。
2025-01-17 09:32:03
1548
原创 文献阅读分享：DKN（WWW2018） - 深度知识感知网络在新闻推荐中的应用
DKN的核心是知识感知卷积神经网络（KCNN）和注意力机制。KCNN将新闻的词嵌入、实体嵌入和上下文实体嵌入作为多通道输入，通过卷积操作提取新闻的特征表示。具体来说，KCNN首先将新闻标题中的每个词与其对应的实体和上下文实体进行关联，然后将这些嵌入信息进行对齐和堆叠，形成多通道的输入矩阵。接着，应用多个不同窗口大小的卷积核对输入矩阵进行卷积操作，捕捉新闻中的局部模式和语义信息。最后，通过最大池化操作提取最重要的特征，得到新闻的最终表示。注意力机制则用于动态聚合用户的历史兴趣。
2025-01-15 19:57:37
1176
原创 文献阅读分享：XSimGCL - 极简图对比学习在推荐系统中的应用
XSimGCL的核心在于其创新的噪声增强方法和简化的模型架构。具体来说，XSimGCL通过在每一层的聚合嵌入中添加不同的均匀随机噪声来生成扰动表示，这些噪声向量的模长被限制为一个小常数ϵ，以确保扰动的幅度可控。同时，XSimGCL采用了跨层对比的策略，即对比不同层的嵌入表示，而非仅对比最终层的表示。这种跨层对比方式充分利用了不同层嵌入信息的差异性，有助于模型学习到更加丰富和鲁棒的特征表示。
2025-01-12 16:26:04
1062
原创 文献阅读分享：基于多模型融合与文本相似度的新闻情感分类与推荐系统设计
通过创新的情感分类方法和推荐算法，有效提高了新闻推荐的准确性和个性化程度，为用户在海量新闻中快速找到感兴趣的内容提供了有力支持。现有的新闻情感分类与推荐方法主要依赖单一模型，如KNN、SVM和NB等，这些方法在处理复杂多变的新闻文本时，难以充分捕捉文本中的情感信息和用户兴趣特征，导致推荐结果的准确性和个性化程度不足。在信息爆炸的时代，新闻内容的海量增长使得用户难以快速找到符合自身兴趣的新闻。通过计算句子相似度，挖掘文本结构信息，结合TF-IDF权重、词性和词句位置等因素，为用户提供准确的个性化推荐。
2025-01-11 19:50:18
728
原创 机器学习顶会NeurIPS： AGILE: A Novel Reinforcement Learning Framework of LLM Agents
此外，AGILE框架还创新性地引入了主动寻求人类专家建议的能力，使代理在面对复杂问题时能够及时获取准确答案，并从中学习和积累知识，以适应新任务。例如，在ProductQA任务中，agile-vic13b-ppo模型的总性能得分比GPT-4高出9.2%，在MedMCQA任务中，agile-mek7b-ppo模型的准确率从基础模型的53.4%提升至85.2%，超越了GPT4-MedPrompt的79.1%的准确率。执行器则根据LLM的指令，执行相应的操作，并将结果反馈给LLM，形成一个闭环的交互过程。
2025-01-10 13:58:34
1194
原创 WWW‘24：Collaborative Large Language Model for Recommender Systems文献阅读
本文介绍了一种新型的基于协同大型语言模型（CLLM4Rec）的推荐系统，该系统将传统的基于ID的推荐系统范式与基于大型语言模型（LLM）的范式相结合，旨在解决自然语言与推荐任务之间语义差异的问题。通过引入用户/项目ID标记和创新的软+硬提示策略，CLLM4Rec能够有效地学习用户和项目的协同和内容语义，从而提高推荐的准确性和效率。CLLM4Rec采用互惠正则化策略进行预训练，以学习用户和项目的协同和内容标记嵌入。协同LLM：通过语言建模学习用户和项目的协同信息，将用户与交互项目的标记嵌入推向彼此靠近。
2025-01-09 09:31:47
1907
原创 文献阅读分享：跨域顺序推荐中的用户检索与大语言模型集成
双图序列建模模型：结合LLM增强的物品-属性图和物品-物品序列图，捕捉协同和结构-语义信息.用户检索-生成模型：通过KNN检索器检索目标领域中与用户最相似的用户，并将结构化文本与协同信息无缝融合到LLM中.领域差异化策略和答案精炼模块：确保输入和生成的输出在特定领域内，提升模型的领域特定生成能力.
2025-01-07 18:49:33
948
原创 文献阅读分享：ChatGPT在推荐系统中的偏见研究
其次，提示策略的多样性体现在准确性导向、多样性导向和推理导向等方面，通过对比不同提示下的推荐结果，揭示其对偏见的影响。在提示设计方面，提出了多种策略，如简单提示、多样化提示和推理链提示等，通过精心设计的提示引导模型生成更符合用户需求的推荐结果。此外，研究还引入了系统角色的概念，如将ChatGPT设定为“公平推荐系统”，以增强其在推荐过程中的公平性意识。通过对ChatGPT在推荐系统中的偏见研究，我们不仅深入理解了其在准确性、公平性等方面的表现，还发现了提示设计、系统角色等关键因素对推荐结果的重要影响。
2025-01-07 10:58:31
1214
原创 www‘18文献阅读分享 DRN: A Deep Reinforcement Learning Framework for News Recommendation
方法：提出一个基于深度Q学习（DQN）的推荐框架，能同时考虑当前奖励和未来奖励。模型采用连续状态和动作表示，输入用户和新闻特征，通过多层DQN预测潜在奖励。模型框架分为离线部分和在线部分，离线部分用于特征提取和模型训练，在线部分与用户交互并实时更新模型.创新显式建模未来奖励：与以往方法不同，该框架能显式预测用户未来与新闻的交互，从而在长期内获得更高奖励.用户活跃度反馈：将用户返回模式作为点击/未点击标签的补充，通过生存模型估计用户活跃度，为推荐提供额外信息.有效探索策略。
2025-01-06 09:56:04
1023
原创 SIGIR’23 文献阅读分享 CSA：强化学习在推荐系统中的应用
本研究提出了对比状态增强（Contrastive State Augmentations, CSA）框架，以提高基于RL的推荐系统的训练效果。CSA包含两个主要创新点：状态增强策略和对比学习损失。
2025-01-03 09:57:43
1333
原创 WWW文献阅读分享：《Reinforced Negative Sampling over Knowledge Graph for Recommendation》
输入：用户-项目交互数据和知识图谱（KG）。输出：高质量的负样本，用于训练推荐模型。KGPolicy的核心是探索操作，它导航从正项开始，挑选两个连续的邻居（例如，一个KG实体和一个项目）进行访问。这种两跳路径捕获了知识感知的负信号。
2025-01-02 09:45:50
999
原创 文献阅读分享：强化学习与大语言模型结合的推荐系统LEA
本文的核心在于将LLMs作为环境（LE）来模拟用户行为并为RL推荐系统提供反馈。状态模型（SM）：通过对比用户-项目标记交互与正负动作，学习有效的状态表示。奖励模型（RM）：通过奖励提示，基于用户-项目标记交互和特定动作生成奖励分数。正反馈增强（LEA）：通过提示LE选择潜在的正反馈，增强有限的离线训练数据。
2024-12-31 16:33:57
1016
原创 推荐系统顶会CIKM：《Enhancing CTR prediction in Recommendation Domain with Search Query Representation》
📚 研究背景： 在数字化时代，电商平台如Amazon和Kuaishou等，通过结合搜索(Search)和推荐(Recommendation)服务，满足用户的多元化需求。推荐系统基于用户偏好推荐商品，而搜索服务则允许用户主动寻找特定商品。这两个服务的用户行为数据，为提高推荐系统的点击通过率(CTR)预测准确性提供了宝贵的机会。然而，现有方法往往忽视了用户在搜索和推荐领域间的意图转变，未能充分利用搜索查询中的用户偏好信息。🔍 相关工作：🧠 模型图输入输出转变：上图：模型框架图示意🔧 方法介绍： 本研究提
2024-12-31 11:34:39
1421
2
原创 WSDM24文献阅读分享：DiffKG —— 知识图谱扩散模型在推荐系统中的应用 ✨
DiffKG模型的核心在于知识图谱扩散机制。该机制通过逐步引入随机噪声来模拟知识图谱的损坏过程，然后通过迭代学习恢复原始知识图谱结构。这一过程不仅模拟了复杂的关系生成过程，还减少了噪声关系的影响。
2024-12-31 10:12:46
979
原创 文献阅读分享：DECOOP - 强化的提示调整与异常检测
零样本基线：使用最大似然softmax概率作为异常检测分数。提示调整：通过微调提示来增强基础类别的分类性能。
2024-12-28 10:47:42
591
原创 WWW文献阅读分享：User-aware Contrastive Learning for Robust Cross-domain Recommendation (UCLR)
在大数据时代，推荐系统（RS）已成为理解用户偏好的重要工具。然而，数据稀疏性一直是推荐系统面临的长期挑战。跨域推荐（CDR）应运而生，旨在通过从信息丰富的源域转移知识来提升目标域的推荐性能。🔄现有的CDR方法主要集中在基于用户-物品交互创建更好的用户嵌入。但这些方法往往忽视了不同用户间活动不一致性的问题，尤其是在数据不平衡的情况下，导致对交互较少的用户生成的嵌入质量较差，从而影响目标域的推荐准确性。🚧本研究提出了一种名为User-aware Contrastive Learning for Robust
2024-12-20 09:27:54
1488
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人