<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Shea的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/HE2096798708</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; HE2096798708]]></copyright><item><title><![CDATA[大模型偏好对齐横向对比：PPO、DPO、GRPO 怎么选？面试核心考点汇总]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/166353327</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/166353327</guid><author>HE2096798708</author><pubDate>Tue, 22 Sep 2026 11:59:39 +0800</pubDate><description><![CDATA[本文系统梳理PPO、DPO、GRPO三种对齐算法的核心定位与工程选型逻辑：DPO适用于主观偏好对齐，稳定高效；GRPO专攻可验证的推理任务，免人工标注；PPO则用于极致精调，效果上限最高。面试关键在于结合场景快速决策——“主观用DPO，客观用GRPO，精调用PPO”。评估需双轨并行：自动指标（如MMLU/GSM8K）测“会不会”，人工WinRate测“好不好”。仅靠自动指标无法衡量对齐效果，真实落地必须兼顾两者。]]></description><category></category></item><item><title><![CDATA[GRPO 组相对策略优化：面向数学/代码推理的偏好对齐，DPO 的 group 版本]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/166350596</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/166350596</guid><author>HE2096798708</author><pubDate>Tue, 22 Sep 2026 11:36:23 +0800</pubDate><description><![CDATA[GRPO是针对数学推理、代码生成等可自动验证任务的升级版对齐方法，突破DPO依赖人工成对标注的瓶颈。其核心是：单prompt生成多答案，机器自动打分后基于组内相对排名优化模型，无需人工干预。相比DPO的“两两对比”，GRPO采用“组内相对”策略，更契合推理任务的试错特性，显著降低标注成本，提升训练效率与推理能力。但仅适用于有客观标准答案的场景，不适用于主观风格对齐。面试必答：GRPO核心优势在于零人工标注、适配可验证任务，适用场景为数学、代码等客观推理，不适用于聊天风格等主观偏好。]]></description><category></category></item><item><title><![CDATA[DPO 直接偏好优化（二）：数据集、训练、调参、局限与变种]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/166347130</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/166347130</guid><author>HE2096798708</author><pubDate>Tue, 22 Sep 2026 11:06:11 +0800</pubDate><description><![CDATA[本文从工程落地视角详解DPO训练全流程：强调数据质量决定模型上限，核心为“prompt+chosen+rejected”三元组；采用策略模型（可更新）与参考模型（冻结）协同架构，结合LoRA/QLoRA实现低显存训练；关键参数β控制对齐强度，学习率与LoRA rank影响收敛与泛化；通过loss曲线诊断问题，避免模式崩溃；总结DPO优势在于流程简、成本低、易复现，但依赖高质量数据，适用于偏好对齐任务，不适用于需精确奖励的场景。]]></description><category></category></item><item><title><![CDATA[DPO 直接偏好优化（一）：为什么不需要奖励模型？从 RL 目标推导 DPO 损失]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/166335973</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/166335973</guid><author>HE2096798708</author><pubDate>Tue, 22 Sep 2026 10:22:51 +0800</pubDate><description><![CDATA[本文系统推导DPO（直接偏好优化）的数学原理，揭示其无需显式奖励模型的核心逻辑。从带KL约束的RLHF目标出发，通过解析最优策略与奖励的关系，将人类偏好转化为基于策略概率比的分类损失，实现与PPO的数学等价。DPO以SFT模型为参考，仅通过偏好对数据直接优化策略，简化训练链路，提升稳定性与效率。核心优势在于去除了奖励模型训练环节，降低工程复杂度，同时保持对齐效果。β参数控制策略偏离参考模型的程度，影响训练稳定性和对齐强度。理解该推导是掌握大模型对齐算法的关键，也是算法岗面试高频考点。]]></description><category></category></item><item><title><![CDATA[RLHF 三阶段详解：从奖励模型到 PPO 近端策略优化]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/165292552</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/165292552</guid><author>HE2096798708</author><pubDate>Mon, 14 Sep 2026 11:37:23 +0800</pubDate><description><![CDATA[RLHF 通过「SFT → RM → PPO」三阶段流水线，把人类偏好注入大语言模型。奖励模型用成对排序损失学习人类偏好，PPO 则通过 Clip 机制稳定地优化策略，同时用 KL 惩罚约束模型不偏离参考策略太远。理解这条流水线，是掌握大模型对齐技术的基础，也是面试中展示功底的必考点。]]></description><category></category></item><item><title><![CDATA[大模型后训练（Post-training）入门：从 SFT 到偏好对齐]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/165290328</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/165290328</guid><author>HE2096798708</author><pubDate>Mon, 14 Sep 2026 10:28:23 +0800</pubDate><description><![CDATA[大模型后训练是在预训练后提升模型指令遵循与人类对齐能力的关键阶段。SFT（监督微调）通过指令-回答对让模型学会模仿高质量回复，但仅能“复制”样本，无法判断回答优劣。其局限在于缺乏相对评价机制，导致泛化差、易过拟合。为此引入偏好对齐：基于成对偏好数据（chosen/rejected），让模型学习“哪个回答更好”，弥补SFT的不足。该过程需权衡对齐税——过度对齐可能牺牲通用能力。后续将深入探讨RLHF、DPO等算法如何实现高效对齐。]]></description><category></category></item><item><title><![CDATA[从神经元到深度网络：神经网络为什么能起作用]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/164854127</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/164854127</guid><author>HE2096798708</author><pubDate>Thu, 10 Sep 2026 17:07:57 +0800</pubDate><description><![CDATA[单个神经元是线性分类器，可实现二分类、线性回归和特征组合，但仅能处理线性可分问题。一层神经元通过多个神经元并行输出，支持多分类、多输出回归与特征变换，仍受限于线性边界。多层神经网络借助非线性激活函数，实现非线性决策边界，可解决异或等复杂问题，具备逼近任意连续函数的能力。其核心在于前向传播、损失计算、反向传播与梯度下降的迭代优化，使网络从数据中自动学习层次化特征，完成复杂映射。]]></description><category></category></item><item><title><![CDATA[【NeurIPS 2024】LLM-ESR：用大语言模型破解序列推荐的长尾难题]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/146300303</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/146300303</guid><author>HE2096798708</author><pubDate>Sun, 16 Mar 2025 19:59:46 +0800</pubDate><description><![CDATA[在电商和社交媒体的世界里，序列推荐系统（Sequential Recommendation Systems, SRS）就像一个贴心的购物助手，它通过分析用户的历史行为来预测他们接下来可能感兴趣的商品。：对于长尾用户，LLM-ESR通过检索与目标用户语义相似的用户，并利用他们的交互信息来增强目标用户的偏好表示，就像是给长尾用户“借”了一些有用的信息。LLM-ESR它提出了一个全新的框架，用LLM的语义嵌入来增强传统的SRS，而且完全不用担心LLM带来的额外推理负担。其实，之前的研究者们也尝试过解决这个问题。]]></description><category></category></item><item><title><![CDATA[【文献阅读】SPRec：用自我博弈打破大语言模型推荐的“同质化”困境]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/146213159</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/146213159</guid><author>HE2096798708</author><pubDate>Wed, 12 Mar 2025 20:39:43 +0800</pubDate><description><![CDATA[这篇论文提出了一个全新的框架——，它的核心思想是通过自我博弈（Self-Play）机制来打破这种同质化的困境。🚀监督微调（SFT）首先使用正样本（用户实际交互过的项目）来训练模型，让模型学习用户的偏好。直接偏好优化（DPO）：然后，将SFT阶段的正样本作为正样本将模型上一次迭代的预测结果作为负样本，重新训练模型。这样做的目的是让模型在学习用户偏好时，能够动态地抑制那些过于热门的项目，从而增加推荐的多样性和公平性。💡📊输入输出的转变。]]></description><category></category></item><item><title><![CDATA[【文献阅读】DeepRAG：大语言模型的检索增强推理新范式]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/146212279</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/146212279</guid><author>HE2096798708</author><pubDate>Wed, 12 Mar 2025 19:23:27 +0800</pubDate><description><![CDATA[二叉树搜索（Binary Tree Search）模型通过二叉树搜索为每个子查询探索两种策略：直接使用参数化知识或检索外部知识库。这不仅分解了问题，还考察了不同检索选择对最终答案的影响。🔍模仿学习（Imitation Learning）通过合成数据，让模型学习最优的推理路径，即在最小化检索成本的同时生成正确答案。这一步骤让模型学会了如何高效地分解问题并生成中间答案。🎓链式校准（Chain of Calibration）这一步进一步优化模型对自身知识边界的认知。]]></description><category></category></item><item><title><![CDATA[ LLM增强强化学习：开启智能决策的新篇章]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/145763099</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/145763099</guid><author>HE2096798708</author><pubDate>Thu, 20 Feb 2025 21:01:38 +0800</pubDate><description><![CDATA[LLM增强的强化学习为解决传统RL的诸多挑战提供了新的思路和方法。LLM作为信息处理器、奖励设计者和决策者，分别从数据处理、奖励设计和决策支持等方面为RL注入了强大的能力。这种结合不仅让智能体能够更好地理解和处理多模态信息，还提高了学习效率和泛化能力，为RL在复杂任务中的应用开辟了新的可能。🌟。]]></description><category></category></item><item><title><![CDATA[【文献阅读分享】Mitigating Matthew Effect in Conversational Recommendation]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/145726617</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/145726617</guid><author>HE2096798708</author><pubDate>Wed, 19 Feb 2025 12:58:57 +0800</pubDate><description><![CDATA[在推荐系统领域，马太效应是一个棘手的问题。通俗来说，就是热门项目总是更受关注，而小众项目则被边缘化。这种现象在用户与系统交互过程中会进一步加剧，导致推荐结果的单一化和不公平。现有的方法大多关注静态推荐场景，但忽略了动态用户系统反馈循环中的马太效应问题。因此，本文提出了一种新的框架——HiCore，旨在通过学习多级用户兴趣来缓解对话推荐系统中的马太效应。用户兴趣多样性：许多研究致力于通过理解用户的多样化兴趣来提升推荐的多样性，但这些方法大多集中在静态场景中。缓解流行度偏差：另一些研究则专注于减少流行度偏差，以]]></description><category></category></item><item><title><![CDATA[【文献精读】AAAI24:FacetCRS：打破对话推荐系统中的“信息茧房”]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/145713479</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/145713479</guid><author>HE2096798708</author><pubDate>Tue, 18 Feb 2025 20:01:52 +0800</pubDate><description><![CDATA[FacetCRS通过多维度偏好学习动态捕捉用户偏好，有效缓解了对话推荐系统中的“信息茧房”现象。其创新的多维度融合方法和端到端框架，不仅提升了推荐质量，还增强了对话生成能力。未来，我们期待这一方法在更多实际场景中的应用，为用户提供更加个性化、多样化的推荐体验。#FacetCRS #对话推荐系统 #信息茧房 #多维度偏好学习。]]></description><category></category></item><item><title><![CDATA[文献阅读分享FedNews：联邦学习下的新闻推荐模型研究]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/145607855</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/145607855</guid><author>HE2096798708</author><pubDate>Thu, 13 Feb 2025 11:29:35 +0800</pubDate><description><![CDATA[新闻模型的目标是构建新闻内容的表示。它通过交叉选择编码（cross-selective encoding）和交叉注意力编码（cross-attention coding）两个主要过程来实现。新闻标题和内容首先被转换为语义词嵌入，然后通过双向LSTM网络提取特征，生成语义记忆向量。接下来，通过门控交叉选择网络实现标题和内容之间的语义交互，最终生成新闻表示向量。📈隐私保护：通过在用户设备上本地存储数据和应用LDP技术，显著降低了隐私泄露风险。🛡️模型性能。]]></description><category></category></item><item><title><![CDATA[文献阅读分享：LLM4Rerank——基于LLM的推荐系统自动重排序框架]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/145585435</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/145585435</guid><author>HE2096798708</author><pubDate>Wed, 12 Feb 2025 10:13:30 +0800</pubDate><description><![CDATA[例如，从“Accuracy”节点开始，可能经过“Diversity”和“Fairness”节点，最终到达“Stop”节点，完成重排序。本文提出了LLM4Rerank，一个基于LLM的自动重排序框架，旨在通过自动整合多种重排序需求（如准确性、多样性和公平性），实现可扩展性和个性化。近年来，随着大型语言模型（LLM）的发展，其在信息检索和推荐任务中的潜力逐渐被挖掘，但直接应用于重排序任务时仍面临挑战，如上下文长度限制和语义理解的复杂性。：定义重排序的重点，如“主要关注准确性，其次考虑多样性”。]]></description><category></category></item><item><title><![CDATA[KERL文献阅读分享：知识图谱与预训练语言模型赋能会话推荐系统]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/145557607</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/145557607</guid><author>HE2096798708</author><pubDate>Mon, 10 Feb 2025 20:50:59 +0800</pubDate><description><![CDATA[KERL框架的结构非常清晰，主要由三个模块组成：知识图谱编码模块、推荐模块和对话生成模块。]]></description><category></category></item><item><title><![CDATA[【文献阅读分享】PAP-REC：个性化自动提示生成框架✨]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/145556724</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/145556724</guid><author>HE2096798708</author><pubDate>Mon, 10 Feb 2025 20:25:34 +0800</pubDate><description><![CDATA[PAP-REC框架的核心是自动生成个性化提示。它通过梯度方法来优化提示中的触发词，从而提高推荐性能。任务特定的触发词和用户特定的触发词。任务特定的触发词用于指导模型理解推荐任务的类型，而用户特定的触发词则用于捕捉用户的个性化偏好。通过这种方式，PAP-REC能够为不同的用户生成不同的提示，从而实现个性化推荐。具体有一下三个点基于梯度的提示搜索：PAP-REC框架的核心是利用基于梯度的方法自动生成个性化提示。具体来说，它通过计算提示中每个位置的梯度，选择能够最大化目标值生成概率的词汇作为提示的一部分。]]></description><category></category></item><item><title><![CDATA[文献阅读分享《新闻推荐中的审议式多样性：操作化与实验用户研究》]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/145482310</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/145482310</guid><author>HE2096798708</author><pubDate>Thu, 06 Feb 2025 21:31:27 +0800</pubDate><description><![CDATA[输出则是一个为用户量身定制的新闻推荐列表，其中政治新闻和非政治新闻按照一定的比例混合排列，以确保用户在浏览新闻时能够接触到不同政党的观点。然而，这种多样化的新闻曝光并未显著改变用户的投票行为，表明新闻推荐系统对用户的政治态度和行为的影响可能较为复杂，需要进一步研究。：不仅关注新闻推荐对用户政治知识的影响，还考察了其对用户政治态度和投票行为的潜在影响，为全面评估新闻推荐系统的社会影响提供了新的视角。：开发了一种新的新闻推荐算法，通过调整新闻文章的排序，确保不同政党的新闻在推荐列表中具有相似的可见性。]]></description><category></category></item><item><title><![CDATA[文献阅读分享：MixRec——异构图协同过滤的创新之作]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/145452755</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/145452755</guid><author>HE2096798708</author><pubDate>Wed, 05 Feb 2025 12:07:06 +0800</pubDate><description><![CDATA[MixRec通过创新的异构超图架构和对比学习范式，为推荐系统领域带来了新的突破。它不仅能够有效处理用户行为的异质性，还能在数据稀疏的情况下保持出色的性能。如果你对推荐系统感兴趣，MixRec绝对值得一读。说不定，它还能激发你新的灵感呢！💡。]]></description><category></category></item><item><title><![CDATA[文献阅读分享：《负面情绪更吸睛？利用大型语言模型重构新闻推荐系统中的情感框架》]]></title><link>https://blog.youkuaiyun.com/HE2096798708/article/details/145401134</link><guid>https://blog.youkuaiyun.com/HE2096798708/article/details/145401134</guid><author>HE2096798708</author><pubDate>Thu, 30 Jan 2025 22:03:48 +0800</pubDate><description><![CDATA[此外，负向情感框架的新闻标题显著提高了用户的付费意愿，而正向情感框架则对付费意愿影响较小 [4]。有趣的是，文本与图像的情感一致性对用户参与度的影响并不显著，但在付费意愿上表现出一定的交互作用 [5]。每篇文章生成正向和负向两种情感框架的标题，并搭配不同情感倾向的图像。本文研究表明，LLM驱动的负向情感框架重构能够显著提高用户的付费意愿，尤其是在文本与图像情感一致的情况下。未来的研究可以进一步探索多模态情感框架在不同新闻主题和用户群体中的效果，同时考虑引入更复杂的交互因素，如用户的社会背景和新闻消费习惯。]]></description><category></category></item></channel></rss>