2025_NIPS_IGD: Token Decisiveness Modeling via Information Gain in LLMs for Personalized Recommendat

一、文章主要内容总结

本文聚焦于基于大语言模型（LLM）的推荐系统（LLM4Rec），核心解决现有方法中“平等对待所有物品令牌”导致的性能缺陷。现有LLM4Rec将推荐任务转化为令牌级自回归生成任务，但仅追求令牌可能性最大化，忽略了不同令牌在物品区分中的“决定性差异”——大量低决定性令牌（如语法填充词）虽贡献小，却因高logit值主导训练和解码，引入偏差。

为解决该问题，本文提出：

1. 令牌决定性量化方法：将物品生成视为决策过程，用“信息增益（IG）”衡量令牌决定性（即令牌对降低物品分布不确定性的贡献）；
2. IGD策略：基于信息增益的令牌处理框架，包含两阶段：
   • 训练阶段（IGD-Tuning）：对零IG令牌降权，优先学习高决定性令牌；
   • 解码阶段（IGD-Decoding）：调整束搜索评分函数，增强高IG令牌的影响；
3. 实验验证：在4个亚马逊基准数据集（CDs、Games、Toys、Books）和Steam数据集上，基于Qwen2.5-1.5B、LLaMA3-8B两种LLM骨干模型验证，IGD在HR@10和NDCG@10指标上平均提升18%-26%，且在不同模型规模、令牌化方案下具有泛化性。

二、创新点

1. 视角创新：首次将LLM4Rec的令牌生成过程建模为“决策过程”，用信息增益（IG）量化令牌决定性，揭示了零IG令牌占比高（55.96%