SUMMA: A Multimodal Large Language Model for Advertisement Summarization

SUMMA相关内容总结与翻译

一、文章主要内容总结

（一）研究背景

在短视频平台（如抖音、TikTok等）中，搜索广告需精准匹配用户搜索意图，而理解多模态视频广告内容以识别高商业价值信息（如产品、品牌、核心卖点）对提升广告效果至关重要。当前方法依赖高度压缩的视频嵌入，存在多模态信息利用不足、缺乏可解释性、难以捕捉细粒度视觉-文本关联等问题，导致商业可靠性下降；且多模态大语言模型（MLLMs）在检索和推荐系统中的应用尚未充分探索。

（二）模型与方法

1. 模型设计：提出SUMMA（SUmmarizing MultiModal Ads），这是一种专为搜索广告设计的多模态大语言模型，能自动将视频广告处理成突出高商业价值内容的摘要，提升抖音搜索广告系统中的广告理解与排序效果。
2. 训练策略：采用两阶段训练
   • 第一阶段：多模态监督微调（SFT）：基于Qwen2.5-VL3B-Instruct模型，使用来自抖音的广告短视频摘要数据集（AdSum-Doubao）进行训练。通过规则过滤（利用LLM作为判断器，从语言质量和下游相关性任务性能两方面评估）确保数据质量，输入为广告视频及其对应的OCR/ASR文本，得到SUMMA-SFT模型，具备基础的多模态广告摘要生成能力。
   • 第二阶段：强化学习（RL）：以SUMMA-SFT为基础，使用高质量人工标注数据（AdS