A Large Language Model Enhanced Sequential Recommender for Joint Video and Comment Recommendation

本文是LLM系列文章,针对《A Large Language Model Enhanced Sequential Recommender for Joint Video and Comment Recommendation》的翻译。

一种用于视频和评论联合推荐的大语言模型增强序列推荐器

摘要

在在线视频平台中,阅读或撰写有趣视频的评论已成为视频观看体验的重要组成部分。然而,现有的视频推荐系统主要对用户与视频的互动行为进行建模,在用户行为建模中缺乏对评论的考虑。
在本文中,我们提出了一种新的推荐方法,称为LSVCR,通过利用用户与视频和评论的互动历史,共同进行个性化的视频和评论推荐。具体来说,我们的方法由两个关键组件组成,即顺序推荐(SR)模型和补充大语言模型(LLM)推荐器。SR模型作为我们方法的主要推荐骨干(保留在部署中),允许进行高效的用户偏好建模。同时,我们利用LLM推荐器作为补充组件(在部署中丢弃),从异构交互行为中更好地捕获潜在的用户偏好。为了综合SR模型和补充LLM推荐器的优点,我们设计了一个两阶段的训练范式。第一阶段是个性化偏好对齐,旨在对齐来自两个组件的偏好表示,从而增强SR模型的语义。第二阶段是面向推荐的微调,其中根据特定目标对对准增强的SR模型进行微调。在视频和评论推荐任务中进行的大量实验证明了LSVCR的有效性。此外,快手平台上的在线A/B测试验证了我们的方法带来的实际好处。特别是,我们在评论观看时间上实现了4.13%的显著总体增长。

1 引言

2 问题定义

3 方法

4 实验

### 增强大型语言模型的技术和方法 为了提升大型语言模型(LLMs)的能力,研究者们探索了多种技术和方法。这些技术不仅增强了模型的理解能力,还提高了其生成质量。 #### 数据预处理与增强 高质量的数据对于训练有效的大型语言模型至关重要。通过创建高质代码数据用于预训练,可以显著提高模型性能[^2]。具体来说,这涉及收集、清洗以及标注大规模语料库,确保数据集既广泛又具有代表性。此外,采用数据增强策略能够进一步扩展可用资源,使模型接触到更多样化的输入形式。 #### 预训练架构创新 近年来,在自然语言到结构化查询转换任务(NL2SQL)方面取得了重要进展。现有解决方案可以从四个主要类别来审视:基于模板的方法、序列到序列框架、图神经网络应用以及最新的预训练语言模型(PLM)[^1]。特别是针对NL2SQL的任务,利用先进的预训练语言模型已经成为主流趋势之一。 #### 参数高效微调方案 除了改进基础架构外,参数高效的迁移学习也是强化大型语言模型的关键途径。MoE(专家混合)是一种设计稀疏模型以达到密集模型效果的有效手段;它允许仅激活部分权重来进行特定计算,从而减少冗余并加速推理过程。这种方法能够在保持高性能的同时降低计算成本。 ```python import torch.nn as nn class MoELayer(nn.Module): def __init__(self, num_experts=8, hidden_size=768): super().__init__() self.experts = nn.ModuleList([nn.Linear(hidden_size, hidden_size) for _ in range(num_experts)]) def forward(self, x): # Select active experts based on some criteria or routing mechanism selected_expert_idx = ... # Placeholder logic output = sum(expert(x) for i, expert in enumerate(self.experts) if i == selected_expert_idx) return output ``` #### 多模态融合 多模态学习使得大型语言模型不仅仅依赖于文本信息,还可以结合图像、音频等多种感知模式共同工作。这种跨领域协作有助于构建更加全面的知识表示体系,进而改善下游应用场景中的表现力。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值