文章主要内容和创新点
主要内容
本文针对视频内容爆炸式增长下的个性化需求,提出了“个性化视频高亮”任务,即基于用户的观看历史为其生成符合个人偏好的视频高亮片段。为支撑该任务,作者构建了HIPPO-VIDEO数据集:通过基于大语言模型(LLM)的用户模拟器生成真实的用户观看历史,包含2040组(观看历史,显著性分数)对,覆盖20400个视频和170个语义类别,解决了真实用户历史的隐私问题和人工标注的成本问题。同时,提出了HiPHer方法,该方法从用户观看历史中提取偏好嵌入,通过跨注意力机制引导视频片段表示,并结合对比损失优化片段显著性分数预测,在实验中表现优于现有通用方法和基于查询的方法。
创新点
- 任务创新:提出“个性化视频高亮”新任务,不同于传统的通用视频摘要或基于单一文本查询的方法,而是利用用户连续观看历史捕捉复杂、动态的偏好,实现更贴合用户需求的视频高亮。
- 数据集创新:构建HIPPO-VIDEO数据集,通过LLM模拟用户观看行为(包括视频候选检索、观看互动、偏好更新三个迭代步骤)生成数据,既避免了真实用户数据的隐私问题,又解决了传统数据集标注成本高、规模有限的缺陷。
- 方法创新:提出HiPHer方法,通过聚合用户观看历史的视频特征生成全局偏好嵌入,利用跨注意力机制将偏好与视频片段关联,并设计对比损失强化显著片段与非显著片段的区分,有效捕捉用户个性化偏好。
订阅专栏 解锁全文
1325



被折叠的 条评论
为什么被折叠?



