VLM （MLLM）系列——论文解读总结

已于 2024-05-17 10:36:23 修改
阅读量873 收藏 3
点赞数
分类专栏： AIGC算法 文章标签： 深度学习 人工智能 计算机视觉 AIGC 图像处理 算法
于 2024-02-05 19:33:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012863603/article/details/136046906
版权
本文总结了一系列多模态预训练模型，如CLIP、BLIP及其变种，探讨了它们的数据集、模型结构和训练策略。这些模型在图文对齐、图像理解与文本生成方面展现出了新意，部分在思南评测中取得优异成绩。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

建议
以下几篇都看一下吧，因为这几篇相对出发点都有新意，并且也都在同期的思南评测中有排名。
CLIP
*数据：用了4亿的互联网自有图文对数据。
*模型：由一个视觉编码器、一个文本编码器
*训练：一阶段预训练，在 32768 的batch size 下做的对比学习。
中文CLIP
*数据：由LAION 5B等构成一个2亿的图文对数据。
*模型：整体和CLIP类似，由一个视觉编码器、一个文本编码器。
*训练：两阶段预训练，权重来自CLIP等。第一阶段32768的batch size下冻结图像编码器，训练文本编码器；第二阶段，训练图像和文本编码器，batch size 和学习率降低。
BLIP 
*1数据：4M的混合数据，coco、LAION等。数据清洗流
了解本专栏 订阅专栏 解锁全文
VLM 系列——Qwen2 VL——论文解读——前瞻（源码解读）
TigerZ*的博客
09-10 909
Qwen2 VL 是一系列多模态大型语言模型（MLLM），其中包括2B、7B、72B三个版本，整体采用视觉编码器+LLM形式（可以认为没有任何投射层）。该模型能够处理包括文本、图像在内的多种数据类型，具备图片描述、单图文问答、 多图问对话、视频理解对话 、json格式、多语言、agent、高清图理解。Qwen2-VL-2B可以轻松地在现代手机上本地进行推理。比较创新的是图像缩放方式+3D LLM位置编码。
AIGC（MLLM、VLM、LLM、SD）系列——论文解读目录
TigerZ*的博客
01-08 5880
AIGC（MLLM、VLM、LLM、SD）系列，论文解读目录。快速找到你想要的论文。
VLM（视觉语言模型）综述
qq_46981910的博客
08-30 1万+
对视觉语言多模态的模型进行介绍，涉及CLIP、GLIP、VLMo、Flamingo、BLIP等等。 VLMs的分类：根据VLM的输入处理和输出生成能力将其分为三个不同的组： 视觉语言理解模型：专门为视觉信息与语言的解释和理解而设计的模型 多模态输入文本生成模型：擅长利用多模态输入（如图像、视频和文本）来生成文本内容 多模态输入多模态输出模型：不仅接受多模态输入，还能产生多模态的输出
VLA、LLM和VLM
qq_50857609的博客
01-08 1973
2023年7月28日，谷歌DeepMind发布了全球首个控制机器人的视觉语言动作（VLA）模型RT-2，这个模型是在视觉语言模型（VLM）的基础上发展而来的，它利用了机器人或汽车运动轨迹的数据，进一步训练这些现有的VLM，以输出可用于机器人或汽车控制的动作序列。指的是大型语言模型，这些模型在自然语言处理（NLP）领域取得了显著的进展，能够理解和生成自然语言文本。VLM是VLA模型的基础，它为VLA提供了视觉和语言的融合能力，使得模型能够理解视觉内容并将其与语言指令相结合，以执行复杂的任务。
论文解读VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding
qq_41932160的博客
03-04 1221
简介 vlm是一个task-agnostic multi- modal pre-training approach。无特定任务的多模态预训练方法。用于视频理解。主要贡献如下： In summary, the main contributions of this paper are as follows: (1) we propose to pre-train a task- agnostic encoder for video understanding; (2) we introduce masked m
从视觉识别任务出发，深入探索视觉语言模型（VLM）基础篇章—VLM学习综述及论文详解：Vision-Language Models for Vision Tasks: A Survey
小小帅
02-29 4707
大多数视觉识别研究在深度神经网络（DNN）训练中严重依赖人群标签数据，而且通常为每个单一的视觉识别任务训练一个 DNN，导致视觉识别范式费时费力。为了应对这两个挑战:视觉语言模型（VLMs）最近得到了深入研究，该模型能从互联网上几乎无穷无尽的网络规模图像-文本对中学习丰富的视觉-语言相关性，并通过单个 VLM 对各种视觉识别任务进行zero-shot预测。本文系统回顾了用于各种视觉识别任务的视觉语言模型，包括介绍视觉识别范式发展的背景；总结广泛采用的网络架构、预训练目标和下游任务的 VLM 基础。
VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding
afanti_1的博客
04-16 1441
VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding VLM：用于视频理解的任务无关的视频语言模型预训练
VLM 系列——Qwen2 VL——论文解读
TigerZ*的博客
09-30 774
qwen2-vl 是一系列多模态大型语言模型（MLLM），其中包括2B、7B、72B三个版本，整体采用视觉编码器（标准VIT输出后面接patch merger ）+ LLM形式。比较创新的是统一视觉处理方式（3D CNN统一视频、图片）+图像缩放方式（自适应缩放）+3D LLM位置编码。能够处理包括文本、图像在内的多种数据类型，具备图片描述、单图文问答、 多图问对话、视频理解对话 、json格式、多语言、agent、高清图理解（代码编写和debug论文暂时未提）。
VLM 系列——MiniCPM-Llama3-V 2.5——论文解读
TigerZ*的博客
08-09 1025
MiniCPM-Llama3-V 2.5 是一款面向终端设备的多模态大型语言模型（MLLM），它专注于实现在手机等资源受限设备上的高级AI功能，参数8B（llama3 7B + SigLIP ViT-400m/14 + 视觉标记压缩层）。该模型能够处理包括文本、图像在内的多种数据类型，具备图片描述、图文问答等功能。
综述 | 一文读懂多模态大模型（MLLM）
m_aigc2022的博客
12-14 2925
在本文中，旨在追踪和总结 多模态大模型（MLLM ）的最新进展。
VLM 简介：计算机视觉模型的未来 使用 VLM 构建准确率提高 28% 的多模式图像搜索引擎
iCloudEnd的博客
11-11 97
具有数十亿甚至数千亿个参数的LLM已不再是新鲜事物。我们随处可见它们！LLM 研究的下一个重点更倾向于开发多模式模型（全模型）——可以理解和处理多种数据类型的模型。顾名思义，这些模型不仅可以处理文本，还可以分析图像、视频和音频。但我们为什么要这么做呢？万事通，一事无成，但往往比精通一门要好。近年来，我们看到了一种趋势，即通用方法主导狭义方法。想一想。如今，语言驱动的 ML 模型已经变得相对先进和通用。一个模型可以完成翻译、总结、识别语音标签等多项功能。
视觉语言模型详解【VLM】
热门推荐
新缸中之脑
05-20 2万+
视觉语言模型被广泛定义为可以从图像和文本中学习的多模态模型。它们是一种生成式模型，可以接受图像和文本输入并生成文本输出。大型视觉语言模型具有良好的零样本能力，具有良好的泛化能力，并且可以处理多种类型的图像，包括文档、网页等。用例包括谈论图像、通过指令进行图像识别、视觉问答、文档理解、图像字幕等。一些视觉语言模型还可以捕获图像中的空间属性。当系统提示检测或分割特定主题时，这些模型可以输出边界框或分割掩码，也可以定位不同的实体或回答有关其相对或绝对位置的问题。
视觉语言模型（VLM）学习笔记
jacke121的专栏
11-28 2164
视觉语言模型（VLM）学习笔记
VLM技术介绍
weixin_50518899的博客
07-13 1918
视觉语言模型被广泛定义为可以从图像和文本中学习的多模态模型。它们是一种生成式模型，可以接受图像和文本输入并生成文本输出。大型视觉语言模型具有良好的零样本能力，具有良好的泛化能力，并且可以处理多种类型的图像，包括文档、网页等。用例包括谈论图像、通过指令进行图像识别、视觉问答、文档理解、图像字幕等。一些视觉语言模型还可以捕获图像中的空间属性。当系统提示检测或分割特定主题时，这些模型可以输出边界框或分割掩码，也可以定位不同的实体或回答有关其相对或绝对位置的问题。
20240708 VLM(视觉大模型和视觉语言模型)
GAOSHIQI5322688的博客
07-08 931
不同于全局自注意力，Swin Transformer在每个层次中，窗口内的像素会通过自注意力机制相互作用，而在相邻层之间，窗口会进行一定的位移（Shift），使得窗口之间的信息得以流动，从而实现了在保持较高效率的同时，兼顾了局部和全局信息的融合。类似于CNN（卷积神经网络）中的特征金字塔网络（FPN），Swin Transformer构建了一个层级结构，随着网络层数加深，特征图的空间分辨率逐渐减小，但感受野（能“看”到的图像范围）增大，这样既能捕捉到局部细节又能把握全局上下文。
训练VLM(视觉语言模型)的经验
AIBigModel的博客
10-21 1496
知乎：lym链接：https://zhuanlan.zhihu.com/p/890327005基于prompt确实不行（情况包括格式输出不稳定、格式输出基本不对、任务不完全会、任务完全不会等情况，难度逐渐加大），选择上SFT微调。业务场景基本用不到强化学习，强化解决的是最后一公里的问题，可以理解为有两种非常接近的输出（这两种输出都非常接近目标输出，此时已经解决了90%的问题），强化学习会对相同的输入，打压其中一种不希望的输出，同时增强另一种更接近目标的希望的输出（从DPO loss就可以看出）。
NLM、LLM、MLLM概述
Admans的专栏
04-13 2546
自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。
自动驾驶热点VLM（视觉语言模型）！又一次突破！
CV_Autobot的博客
08-29 651
自从谷歌提出ViT、Open AI发布CLIP，视觉语言模型（VLM）便成为了研究热点，凭借跨模态处理和理解能力，以及零样本学习方法，为CV领域带来了重大革新，今年CVPR'24自动驾驶挑战赛中，VLM也是参赛人数最多的赛道，围绕环境感知提升等，应用方案百花齐放，而为了性能不变下压缩模型体量，CVPR'24收录了一项突破性工作，VLM提示蒸馏新方法PromptKD！为了帮助大家综合掌握，集VLM、...
VLM学习笔记
jacke121的专栏
06-03 980
VLM学习笔记
VLM和mllm
最新发布
03-30
### VLM（视觉语言模型）与 mLLM（多模态大语言模型）的概念及区别 #### 一、定义与概念 - **VLM（视觉语言模型）** 是一种专注于处理图像和文本两种模态数据的模型。它通常通过联合训练图像特征提取器（如卷积神经...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TigerZ*

你点滴支持，我持续创作，羞羞

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值