Large Scale Retrieval for the LinkedIn Feed using Causal Language Models

文章总结与翻译

一、主要内容

本文针对LinkedIn Feed的大规模推荐场景，提出了一种基于因果语言模型（Meta的LLaMA 3）的新型检索方案，核心是将大语言模型微调为双编码器，仅通过文本输入生成用户（成员）和内容（物品）的高质量嵌入向量，以替代传统多索引检索架构。

1. 背景与需求：LinkedIn Feed需从数亿候选内容中，在毫秒级延迟、数千QPS的约束下检索2000个候选内容，传统多索引架构（含倒排索引、协同过滤、双塔嵌入检索等）存在工程复杂度高、运维成本高的问题。
2. 核心方案：
   • 数据与提示词设计：基于用户-内容互动日志构建训练数据，通过“提示词库”将用户特征（ profile 信息、互动历史等）和内容特征（类型、作者信息、文本等）转化为结构化提示词，仅保留用户正向互动历史以提升效果。
   • 模型架构：采用共享参数的双编码器结构，利用LLaMA 3生成隐藏状态后通过均值池化得到固定维度嵌入向量，使用余弦相似度衡量用户-内容相关性。
   • 训练优化：采用InfoNCE损失函数，结合易负样本和难负样本挖掘，引入嵌套表征学习（MRL）支持多维度嵌入灵活部署。
   • 线上部署：构建近线生成-线上检索的全流程架构，通过GPU-RAR索引实现亚50毫秒延迟的kNN检索，保障嵌入向量的新鲜度（新内容1分钟内索引，互动更新30分钟内生效）。
3. 实验结果：离线评估中，InfoNCE损失+MRL的方案Re