视频多模态模型: VideoChat、Video-LLaMA、Video-ChatGPT、Video-LLaVA等

VideoChat

• VideoChat🦜: 基于视频指令数据微调的聊天机器人

• https://arxiv.org/pdf/2305.06355.pdf

• https://github.com/OpenGVLab/Ask-Anything/tree/main/video_chat

• 以视频为中心的多模态对话系统通过使用开源视觉模型将视频内容文本化，将视频理解表述为自然语言处理 （NLP） 问答。

• 引入了一种以视频为中心的多模态指令微调数据集。创建了一个独特的数据集，其中包含数千个视频，并配以详细的文本描述和对话，这些描述和对话使用密集的字幕按时间顺序提供给 ChatGPT。该数据集强调时空对象、动作、事件和因果关系，为训练以视频为中心的多模态对话系统提供了宝贵的资源。

模型描述

• 使用视觉模型从视频中提取概念：
  $$\begin{array}{r}[\mathbf{E}{]}_i^j=f_{\text{img}}^j({\mathbf{I}}_i)\text{or}{\mathbf{E}}^j=f_{\text{vid}}^j(\mathbf{V})\text{w.r.t.}\mathbf{V}=[{\mathbf{I}}_i{]}_{i=1,2,\dots ,T},\end{array}$$
• 其中 E 表示文本描述或上下文嵌入，$f_{}$