DeepSport: A Multimodal Large Language Model for Comprehensive Sports Video Reasoning via Agentic...

DeepSport 论文总结与翻译

一、主要内容

该论文针对现有体育视频理解模型存在的单运动项目聚焦、任务单一、缺乏稳健学习推理过程等问题，提出了首个面向多任务、多运动项目视频理解的端到端训练多模态大语言模型（MLLM）框架——DeepSport。

核心背景

体育视频理解面临高速动态感知、复杂规则理解、长时序上下文推理等独特挑战。现有MLLM在通用领域表现出色，但体育领域研究存在碎片化问题：要么局限于单一运动项目或特定任务，要么依赖无训练范式，缺乏有效的学习型推理过程。同时，尽管已有丰富的体育相关基准数据集，但适配多任务、多运动项目的统一模型尚未出现。

技术框架

1. 数据蒸馏管道：整合10个不同数据源（源自9项现有工作），覆盖12种运动项目（包括团队运动、球拍类运动、格斗运动、艺术类运动等），通过任务特定模板将不同格式数据统一为问答对，并利用SOTA模型生成含思维链（CoT）和工具调用的高质量轨迹，经LLM筛选后构建7.8万训练数据（含1.5万高质量CoT数据）和6.7万测试基准数据。
2. 两阶段训练策略：先通过有监督微调（SFT）让模型熟悉CoT格式和多轮推理基本模式，实现“冷启动”；再采用基于分组相对策略优化（GRPO）的智能体强化学习（RL），设计含语义准确性、行为塑造、格式门控的混合奖励函数，优化模型推理和工具使用策略。
3. 动态推理范式：模型可通过帧提取工具主动、迭代式