Multimodal Large Language Models with Adaptive Preference Optimization for Sequential Recommendation

文章核心总结与翻译

一、主要内容

本文聚焦多模态大语言模型（MLLMs）在序列推荐中的应用，针对现有方法存在的样本难度不平衡（随机负采样导致模型过拟合易样本、欠拟合难样本）和跨模态语义偏差（DPO中固定参考模型阻碍模态对齐，长序列放大偏差）两大核心问题，提出了一种融合难度感知与噪声正则化偏好优化的框架HaNoRec。

1. 研究背景：现有序列推荐方法中，纯LLM仅依赖文本信息，无法充分利用图像等多模态数据；传统MLLM-based方法虽融合多模态，但在偏好学习中存在样本优化失衡和模态语义错位问题，影响推荐准确性。
2. 核心框架：
   • 难度感知重加权策略（HaRS）：通过计算正负样本的语义相似度聚类，动态估计样本难度，并结合模型实时响应性调整DPO优化权重，优先关注难区分样本。
   • 噪声正则化分布优化（NoDO）：在模型输出logits中引入高斯噪声扰动，通过KL散度约束对齐标题-图像的跨模态语义，缓解模态偏差。
3. 实验验证：在Microlens、Netflix、Movielens-1M三个基准数据集上，HaNoRec在AUC、HR@3、NDCG@3等指标上显著优于传统推荐模型、LLM-based模型及现有MLLM-based模型，验证了其有效性。

</