第三章通用多模态大模型-3.1 Video-LLaVA笔记

原创已于 2025-02-07 15:58:51 修改 · 1.8k 阅读

37 ·

CC 4.0 BY-SA版权

文章标签：

#笔记 #语言模型

于 2025-02-07 15:55:52 首次发布

部署运行你感兴趣的模型镜像

Video-LLaVA的创新点/思路

Video-LLaVA是由北京大学和其他机构研究人员提出的一种视觉语言大模型，其创新之处在于能够同时处理图片和视频作为输入。具体来说，Video-LLaVA采用联合图片和视频的训练和指令微调策略，解决了“投影前对齐”（alignment before projection）的问题

LLaVA

开发者

LLaVA-1.0：最初由威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学的研究人员开发。
LLaVA-NeXT：由包括浙江大学、清华大学、北京大学等在内的多个机构联合开发。
LLaVA-o1：由北京大学、清华大学、鹏城实验室、阿里巴巴达摩院以及理海大学（Lehigh University）组成的研究团队推出。
LLaVA-Mini：由中国科学院计算技术研究所自然语言处理团队发布。

发布时间

LLaVA-1.0：最初版本在2023年4月发布。
LLaVA-1.5：2023年10月发布。
LLaVA-NeXT：2024年1月30日发布。
LLaVA-o1：2024年11月19日发布。
LLaVA-Mini：2025年1月发布。

版本更新与应用

LLaVA-1.0：首次引入了视觉指令微调（Visual Instruction Tuning）技术，展示了接近GPT-4水平的图文理解能力。
LLaVA-1.5：参数规模扩大到15亿，增强了多模态理解和生成能力。
LLaVA-NeXT：进一步提升了推理、OCR和世界知识能力，并在视频理解任务中表现出色。
LLaVA-o1：作为首个具备自发性推理能力的视觉语言模型，引入了多阶段推理架构，适用于复杂视觉问答任务。
LLaVA-Mini：通过压缩视觉token，显著提升了图像和视频处理效率，适用于实时交互场景。
LLaVA系列模型在多模态领域展现了强大的应用潜力，包括图像描述、视觉问答、图像生成等任务
在这里插入图片描述

Video-LLaVA的主体结构

在这里插入图片描述

LanguageBind

在这里插入图片描述

- LanguageBind
LanguageBind是一种以语言为中心的多模态预训练方法，旨在通过语言模态作为纽带，将不同模态（如视频、图像、红外图、深度图、音频等）进行语义对齐。这种方法的核心在于直接将各模态映射到语言的统一特征空间，而无需通过图像或其他中间模态进行中转
开发背景
LanguageBind的开发是为了弥补现有视频-语言（VL）预训练框架难以扩展到多种模态（N≥3）的问题。传统方法如ImageBind通过图像模态作为中间桥梁进行对齐，但这种方式可能导致信息损失和噪声引入。LanguageBind通过直接对齐到语言模态，避免了这些问题，并且能够更高效地扩展到更多模态。
开发团队
LanguageBind由北京大学袁路教授团队主导开发，并与腾讯等机构合作。该团队在多模态预训练领域具有丰富的研究经验。
发表时间
LanguageBind的相关论文最早于2023年10月发布在arXiv上，并在2024年被ICLR（国际学习表征会议）接收。
主要贡献
多模态对齐框架：提出了基于语言的多模态预训练框架，通过对比学习将不同模态与语言模态对齐。
VIDAL-10M数据集：构建了一个包含1000万条视频、红外、深度、音频及其对应文本描述的大规模多模态数据集。这些数据均来自短视频平台，具有完整的语义内容。
性能提升：在多个跨模态任务中，LanguageBind展现了优异的性能，包括视频-语言检索、音频-语言分类等任务。
方法细节
LanguageBind的架构包括多模态编码器、语言编码器和多模态联合学习。具体来说：
多模态编码器：使用24层、1024维度的ViT（Vision Transformer）作为基础架构，对不同模态进行编码。
语言编码器：采用12层Transformer模型，从OpenCLIP初始化，用于处理文本数据。
对比学习：通过对比学习方法，将各模态的特征映射到共享的语义空间，实现语义对齐

Video-LLaVA的训练

在这里插入图片描述

Video-LLaVA的性能对比与消融实验

定量评估

在这里插入图片描述

消融实验

在这里插入图片描述
**消融实验（Ablation Study）**是一种科学研究方法，主要用于评估模型或系统中各个组成部分对整体性能的影响。其核心思想是逐步移除或修改模型的某些部分，观察这些变化对模型性能的影响。消融实验的主要步骤包括：
建立基准模型：构建一个完整的模型，作为性能对比的基准。
定义消融条件：选择要移除或修改的组件，例如某些层、模块或特征。
执行实验：在每次消融后重新训练和评估模型，记录性能变化。
比较性能：通过对比基准模型和消融后模型的性能，评估被移除部分的重要性。
消融实验的主要目的是：
理解模型组件的作用：识别哪些组件对模型性能至关重要。
优化模型结构：通过去除冗余部分，简化模型，提高效率。
验证假设：检验特定设计选择是否有效。