LLM2Rec: Large Language Models Are Powerful Embedding Models for Sequential Recommendation

文章主要内容总结

本文针对序列推荐任务（通过建模用户历史行为中的协同过滤（CF）信号预测未来交互）的局限性，提出了一种基于大型语言模型（LLM）的嵌入模型LLM2Rec。传统序列推荐方法依赖基于ID的嵌入，虽能捕捉CF信号但缺乏跨域泛化能力；而现有基于文本的推荐方法虽利用LLM的语义表示提升泛化，却忽略了CF信号。

LLM2Rec通过两阶段训练框架解决上述问题：

1. 协作监督微调（Collaborative Supervised Fine-Tuning, CSFT）：在多领域推荐数据集上微调LLM，使其能根据用户历史交互序列预测下一个物品，从而学习CF信号（如物品共现模式）。
2. 物品级嵌入建模（Item-level Embedding Modeling, IEM）：将微调后的LLM改造为物品级嵌入模型，通过双向注意力、掩码下一个token预测（MNTP）和物品级对比学习，增强其生成结构化嵌入的能力，同时保留语义和CF信息。

实验表明，LLM2Rec在域内（如游戏、艺术）和域外（如体育、婴儿用品、Goodreads）数据集上均优于现有基线模型，验证了其在融合语义与CF信号、提升推荐性能和泛化能力上的有效性。

创新点

1. 首次将LLM同时集成语义理解与CF信号