[论文笔记] InternVideo

原创 已于 2023-11-20 19:55:13 修改 · 1.2k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #python #人工智能 #深度学习 #神经网络 #机器学习 #计算机视觉

于 2023-09-30 20:19:43 首次发布

InternVideo 论文笔记

Author: Sijin Yu

文章目录

在这里插入图片描述

1. Information

标题: InternVideo: General Video Foundation Models via Generative and Discriminative Learning

arXiv URL: https://arxiv.org/abs/2212.03191

code: https://github.com/OpenGVLab/InternVideo

发布时间: 2022 年 12 月

2. Abstract

  • 基础模型最近在计算机视觉的各种下游任务中表现出优异的性能.
  • 但是, 大部分现存的视觉基础模型都只是简单地关注于图像水平的预训练, 它们缺乏在动态且复杂的视频水平上的预训练.
  • 为了填补这一空白, 我们利用生成式、判别式自监督视频模型, 提出一种通用的视觉模型, InternVideo.
  • 具体地, InternVideo 使用了 Masked Video Modeling 和 Video-language Contrasive Learning 为预训练目标, 并以可学习的方式有选择地协调这两个完整框架的视频表示, 以增强各种视频下游应用.
  • InternVideo 在 39 个视频数据集上达到了 SOTA, 包括视频动作识别/检测, 视频语言对齐, 开放世界视频应用. 我们的模型在 K400 和 SSV2 上分别达到了 91.1% 和 77.2% 的 top-1 准确率. 这些结果展现了 InternVideo 在视频理解上的泛化能力.

3. Model

3.1 Overview

在这里插入图片描述

  • 使用两种自监督模型, 学习视频的表达: Masked Video Reconstruction 和 Multimodal Contrastive Learning.
  • 使用 Cross Model Attention, 综合两个自监督模型的优点, 获取更好的视频表达.
  • 在下游任务中针对性有监督学习.

3.2 Masked Video Encoder

在这里插入图片描述

  • 使用 VideoMAE 作为 Encoder, ViT 作为 Decoder.

  • Decoder 的通道数是 Encoder 的一半, 默认有四个 blocks.

  • 对于一个未被 masked 的视频输入:

    • 在时间上下采样, 降低帧数.

    • 将视频在时间上分组, 分成不重叠的 3D patches 块.

    • 每个 3D patch 被线性映射到一个 cube embedding (立方体嵌入). [⚠️注: cube embedding 是一个拥有三个维度的 embedding.]

    • 对这些 cube embedding, 使用 tube masking, [⚠️注: 这是一种掩盖或遮挡部分嵌入值的方法, 只保留其中的一部分信息.] 使用高 masked 率 (如 90%).

3.3 Multimodal Video Encoder

在这里插入图片描述

  • 使用 UniFormerV2 做 Video Encoder. [⚠️注: UniFormerV2 可见我的博客: 点击访问 UniFormer & UniFormerV2 论文笔记.]
  • 使用 align-before-fuse 范式:
    • 视频和文本分别编码.
    • 在 align (对齐) 阶段, 使用对比学习损失去对齐视频和文本的嵌入空间.
    • 在 fuse (融合) 阶段, 使用一个 caption decoder (字幕解码器) 作为跨模态融合器.

3.4 Cross Model Attention

在这里插入图片描述

  • 只有红色部分是可训练的. 其余部分为 frozen.
  • KV 表示 key 和 value, Q 表示 query.

3.5 预训练超参数设置

下图: 预训练的超参数设置.
在这里插入图片描述

下图: 预训练使用的数据集和采样设置.

在这里插入图片描述

4. Experiment & Result

4.1 与 SOTA 的对比

下图: [Action Recongition 动作识别] 在 K400/600/700 上的对比.

在这里插入图片描述

下图: [Action Recongition 动作识别] 在 SSV1/V2, ActivityNet, HACS, HMDB51 上的对比.

在这里插入图片描述

下图: [Temporal Action Localization 时间动作定位] 在 THUMOS-14, Activitynet-v1.3, HACS, FineAction 上的对比.

在这里插入图片描述

下图: [Spatiotemporal Action Localization 时空动作定位] 在 AVA2.2, AVA-Kinetics 上的对比.

在这里插入图片描述

下图: [Video Retrieval 视频检索] 在 MSR-VTT, MSVD, LSMDC, ActivityNet, DiDeMo, VATEX 上的对比.

在这里插入图片描述

下图: [Video Question Answering 视频问答] 在 MSRVTT, MSVD, TGIF 上的对比.
在这里插入图片描述

原文还做了不少其它的下游任务, 此处略.

下图: InternVideo 在多个下游任务、多个数据集上均达到了 SOTA.

在这里插入图片描述

5. Conclusion

主要贡献:

  • 将此前的 UniFormerV2 和 VideoMAE 相结合, 设计了 Video Masked Model 和 Video-Language 对比学习.
  • 在各种下游任务取得了非常好的成绩.
【文生视频】InternVid: A Large-scale Video-Text Dataset forMultimodal Understanding and Generation
一只大憨憨的博客
04-25 1929
我们的核心贡献是开发一种可扩展的方法，用大型语言模型（LLM）自主构建高质量的视频文本数据集，提供视频文本表示学习模型ViCLIP。目前的研究依赖于HowTo100M[2]、HD-VILA[3]和YTTemporal[4，5]等数据集，这些数据集的文本是使用自动语音识别（ASR）生成的。尽管规模很大，但这些数据集在视频和相应的文本描述之间的语义相关性往往很低[2-5]。实证研究表明，改善这种相关性（例如，将视频与字幕对齐以提高其匹配性）显著有利于视频检索和视频问答等下游任务[6]。文本视频对齐非常重要。We
【ECCV 2024】InternVideo2: Scaling Foundation Models for Multimodal Video Understanding
zik的博客
08-01 2003
Authors单位【Paper】【Project】我们推出了 InternVideo2，这是一个新的视频基础模型 (ViFM) 系列，它在视频识别、视频文本任务和以视频为中心的对话方面取得了最先进的结果。我们的核心设计是一种渐进式训练方法，它将屏蔽视频建模、跨模态对比学习和下一个标记预测相结合，将视频编码器大小扩展到 6B 参数。在数据层面，我们通过对视频进行语义分割并生成视频音频语音字幕来优先考虑时空一致性。这改善了视频和文本之间的对齐。
【论文分享】InternVideo: General Video Foundation Models via Generative and Discriminative Learning
crazyjinks的博客
07-25 3615
最近，基础模型在计算机视觉领域的各种下游任务上表现出色。然而，大多数现有的视觉基础模型仅关注图像层次的预训练和适应（adaption），这对于动态且复杂的视频层次理解任务来说是有限的。为了填补这一空白，我们通过利用生成式和判别式自监督视频学习的优势，提出了通用视频基础模型InternVideo。具体来说，InternVideo高效地探索了遮罩视频建模和视频-语言对比学习作为预训练目标，并以可学习的方式选择性地协调这两个互补框架的视频表示，以提升各种视频应用。
论文解读|InternVideo2重塑视频理解新标杆，多模态学习引领行业风向
柏企阅文
04-10 4009
InternVideo2重塑视频理解新标杆，多模态学习引领行业风向
【免费下载】 InternVideo 项目使用教程
gitblog_00735的博客
09-25 1714
InternVideo 项目使用教程 1、项目介绍 InternVideo 是一个专注于视频基础模型的开源项目，由 OpenGVLab 开发。该项目旨在通过生成和判别学习的方法，提供通用的视频基础模型。InternVideo 系列包括多个版本，如 InternVideo 和 InternVideo2，分别用于不同的视频理解和生成任务。此外，项目还提供了大规模的视频-文本数据集 InternVid，...
InternVideo2 视频理解大模型已开源，更强VideoChat来袭！
OpenGVLab的博客
09-25 7425
作者在当下，视频无疑是连接我们日常沟通与分享的纽带。据最新数据表明，互联网上超过70%的流量都来源于视频内容，然而，AI大模型做视频理解并非易事，LeCun就曾在访谈中谈及他在视频理解领域数十年的经验心得（书生系列大模型是最早在此领域取得突破的大模型之一。2022年，InternVideo已经成在视频理解标杆Kinetics 700和Kinetics400上获得SOTA性能，且成为世界首个在K400上突破90% Top1 accuracy的大模型；2023年成为我们超受欢迎的的基础模型。
学习看论文入门记录、阅读论文笔记模板
07-11
论文的基本了解、论文笔记内容、阅读记录模板纵向、阅读记录模板横向、论文搜索翻译润色、笔记等的相关网站软件记录
论文笔记模板——自用xmind模板
10-15
为了看论文时更有条理，并且沉淀的东西更多更有用，我总结了一个自用的【论文笔记整理模板】，以xmind格式呈现
【论文】如何记论文笔记
weixin_43210113的博客
05-02 3685
〇、前情提要 论文笔记。 参考： 【学术干货】博士学姐的学术论文阅读方法|笔记格式 https://www.bilibili.com/video/BV13E411W7u5?from=search&seid=13561606915041380585 【学术干货】文献收集途径|筛选鉴别原则|整理工具 https://www.bilibili.com/video/BV1ME411j721 干货分享|手把手教你用OneNote写论文笔记|高效准备毕业论文 https://www.bilibili.com/v
Deep Residual Learning for Image Recognition 深度残差网络论文笔记
04-12
Deep Residual Learning for Image Recognition 深度残差网络论文笔记 蓝：生疏词汇 红：疑惑 黄：重点 绿：次重点 使用Edge浏览器可编辑
internvideo论文
04-01
### 关于InternVideo系列论文的相关资源 InternVideo及其后续版本（如InternVideo2、InternVideo2.5）是由上海AI实验室开发的一系列视频多模态大模型。这些研究工作主要集中在视频基础视觉表征学习和多模态对话技术...
【学习笔记】行为识别SOTA方法比较
W9XM96的博客
07-27 3387
本博客主要针对四类行为识别算法中表现较优模型进行介绍，包括SlowFast、Video TimeSformer、Video Swin Transformer、VideoMAE和Intern Video。
【亲测免费】 开源项目InternVideo常见问题解决方案
gitblog_00492的博客
12-12 538
开源项目InternVideo常见问题解决方案 1. 项目基础介绍 项目名称： InternVideo 项目简介： InternVideo是一个针对多模态理解的视频基础模型系列和相关工作的开源项目。该项目旨在通过生成性和判别性学习，构建一般的视频基础模型，并扩展这些模型以实现多模态视频理解。 主要编程语言： Python 2. 新手常见问题及解决步骤 问题一：如何安装项目依赖？ 问题描述： 新手...
InternVideo2.5：Empowering Video MLLMs with Long and Rich Context Modeling
最新发布
lovep1的博客
04-09 1888
1、InternVideo2.5通过LRC建模来提升MLLM的性能。 2、层次化token压缩和任务偏好优化（mask+时空 head）整合到一个框架中，并通过自适应层次化token压缩来开发紧凑的时空表 3、MVBench/Perception Test/EgoSchema/MLVU数据benchmark上提升明显
Cross-Modal Attentional Context Learning for RGB-D Object Detection 论文阅读笔记
read, note and comment papers
08-10 809
Cross-Modal Attentional Context Learning for RGB-D Object Detection 论文阅读笔记 文章是中山大学李冠彬老师一作的论文 文章是做RGB-D 目标检测的，RGB-D是特殊的图像，用RGB-D相机拍摄的图像除了RGB三个通道的信息外，还提供了配准的深度信息（大概是通过TOF进行深度测量的） 最开始做RGB-D目标检测是用R-CNN的框架，将RGB通道和D通道分别处理后再作为特征送进SVM进行分类和回归的。这样做有两个不足之处，一是没有利用
多模态论文总结（一）
C_andylist的博客
01-29 4600
Multimodal Transformer for Unaligned Multimodal Language Sequences Tsai Y H H, Bai S, Liang P P, et al. Multimodal transformer for unaligned multimodal language sequences[C]//Proceedings of the conference. Association for Computational Linguistics. Meetin
每日Attention学习15——Cross-Model Grafting Module
xiongxyowo的博客
08-25 856
Transformer在全局特征上更优，CNN在局部特征上更优，对这两者进行进行融合的最简单做法是直接相加或相乘。但是，相加或相乘本质上属于"局部"操作，如果某片区域两个特征的不确定性都较高，则会带来许多噪声。为此，本文提出了CMGM模块，通过交叉注意力的形式引入更为广泛的信息来增强融合效果。
【深度学习】Cross-Attention（交叉注意力）机制详解与应用
欢迎来到我的优快云个人博客主页！
03-24 6977
Cross-Attention（交叉注意力）是一种特殊的注意力机制，用于处理两个不同序列或模态之间的关系。与Self-Attention（自注意力）不同，Cross-Attention允许一个序列（查询序列）通过注意力机制来关注另一个序列（键值序列）中的信息。简单来说，Cross-Attention回答的问题是：“在序列A的每个位置，我应该关注序列B中的哪些部分？
CVPR 2022 | 阿里&华科提出：针对场景文本检测的视觉语言模型预训练
阿木寺的博客
08-07 1377
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群转载自：CSIG文档图像分析与识别专委会本文简要介绍了发表于CVPR 2022的论文“Vision-Language Pre-Training for Boosting Scene Text Detector”的相关工作。大规模预训练在视觉任务中有着重要的作用，而视...
InternVideo
03-11
<think>好的，我现在要处理用户关于InternVideo的安装、配置和使用的问题。首先，我需要确定用户的需求是什么。他们可能是一个研究人员或者开发者，想要利用InternVideo进行视频理解相关的任务，比如动作识别或视频分类。用户可能对安装过程、环境配置、基本用法以及常见问题解决感兴趣。 接下来，我需要回忆InternVideo的相关信息。InternVideo是一个基于深度学习的视频理解框架，可能依赖于PyTorch等库。安装步骤通常包括克隆代码库、安装依赖项、配置环境等。配置方面可能涉及数据集的准备、模型权重的下载以及参数调整。使用部分可能包括训练和推理的脚本运行。 考虑到用户可能遇到的问题，比如依赖项冲突、CUDA版本不匹配、数据集路径错误等，我需要提前准备这些常见问题的解决方法。此外，用户可能希望了解如何自定义模型或数据集，所以这部分也需要涵盖。 现在，我需要按照用户的要求组织回答。首先分点说明安装、配置和使用方法，确保每个步骤清晰，代码示例正确。然后生成相关问题，帮助用户进一步探索。同时，要使用中文，数学公式用$...$，独立公式用$$...$$，但根据用户的问题，可能数学公式不多，但如果有性能指标或参数，可能需要用LaTeX表示。 还要检查是否有需要引用的地方，比如引用官方文档或相关论文，但用户提供的引用标识示例中没有具体来源，所以可能不需要添加。最后，确保回答结构清晰，语言简洁，符合用户要求。</think>### InternVideo 使用指南 #### 1. 安装步骤 **环境要求**： - Python ≥ 3.7 - PyTorch ≥ 1.8.0（需与CUDA版本匹配，例如CUDA 11.1） - 其他依赖：FFmpeg、Decord、OpenCV等 **安装流程**： ```bash # 克隆代码库 git clone https://github.com/OpenGVLab/InternVideo.git cd InternVideo # 创建虚拟环境（可选） conda create -n internvideo python=3.8 conda activate internvideo # 安装依赖 pip install -r requirements.txt # 安装PyTorch（根据CUDA版本选择） pip install torch==1.8.0+cu111 torchvision==0.9.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html # 编译自定义算子（部分模型需要） cd ops && sh make.sh ``` --- #### 2. 配置说明 **数据集配置**： - 数据集需按特定结构存放，例如Kinetics-400： ``` datasets/ kinetics400/ videos_train/ videos_val/ annotations/ ``` - 修改配置文件（如 `configs/recognition/internvideo.yaml`），指定数据集路径和超参数。 **预训练模型下载**： - 从官方仓库下载模型权重（如 `internvideo_kinetics400.pth`），并放入 `checkpoints/` 目录。 --- #### 3. 基础使用 **视频特征提取**： ```python import torch from models import build_model # 加载模型 model = build_model(config_path="configs/feature_extraction.yaml", checkpoint="checkpoints/internvideo.pth") model.eval() # 输入视频帧（示例输入为16帧） video_frames = torch.randn(1, 3, 16, 224, 224) # (batch, channel, time, H, W) features = model(video_frames) print(features.shape) # 输出特征维度 ``` **训练与推理**： ```bash # 训练命令（以动作为例） python tools/train.py configs/recognition/internvideo.yaml --work-dir output/ # 测试命令 python tools/test.py configs/recognition/internvideo.py checkpoints/internvideo.pth --eval top_k_accuracy ``` --- #### 4. 常见问题解决 - **CUDA版本不兼容**：根据PyTorch版本安装对应的CUDA驱动[^1]。 - **自定义数据集支持**：修改数据集加载器代码（参考 `datasets/` 下的示例）。 - **显存不足**：减小 `batch_size` 或使用梯度累积。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Sijin_Yu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值