VLM学习笔记

已于 2024-06-05 17:45:15 修改
阅读量980 收藏 9
点赞数 18
分类专栏： 深度学习基础 文章标签： 深度学习
于 2024-06-03 12:48:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jacke121/article/details/139411640
版权

目录

基础VLM模型CLIP

CLIP (Contrastive Language-Image Pre-training)

clip的再训练

CLIP-Chinese

轻量化VLM探索：MobileVLM V2

怎么预训练VLMs？

X-VLM

TurboMind LLM推理引擎

基础VLM模型CLIP

CLIP (Contrastive Language-Image Pre-training)

基本思想：CLIP的基本算法原理是文本和图像在特征域进行对齐。

主流VLM原理深入刨析（CLIP，BLIP，BLIP2，Flamingo，LLaVA，MiniCPT，InstructBLIP，mPLUG-owl）-优快云博客

模型结构：为了对image和text建立联系，首先分别对image和text进行特征提取，image特征提取的backbone可以是resnet系列模型也可以是VIT系列模型；text特征提取目前一般采用bert模型。特征提取之后，由于做了normalize，直接相乘来计算余弦距离，同一pair对的结果趋近于1，不同pair对的结果趋近于0，因为就可以采用对比损失loss（info-nce-loss）【这里要比较大的batch size才能有效果，类似于维护一个大的特征相似度矩阵】

原文链接：https://blog.youkuaiyun.com/weixin_54338498/article/details/135258723

clip的再训练

CLIP模型的使用和训练-利用CLIP实现zero-shot的分类任务_clip训练-优快云博客

CLIP-Chinese

https://github.com/yangjianxin1/CLIP-Chinese

轻量化VLM探索：MobileVLM V2

https://zhuanlan.zhihu.com/p/681878699

部署参数：

'default"={Conversation

"llama 2'={Conversation

'plain'= {Conversation}

'llava_llama_2'

'v1'=

怎么预训练VLMs？

目前主流的以CLIP为典型代表的Vision-Language Model(VLM)预训练方法可以大致分为3个关键模块：

  • 文本特征提取模块，通常采用Transformer结构及其一系列变体作为基础结构。
  • 图像特征提取模块，通常采用CNN（以ResNet结构为典型代表）或者Transformer（如ViT、MAE等结构）来提取图像特征。
  • 特征融合模块

https://zhuanlan.zhihu.com/p/623877502

X-VLM

X-VLM多模态模型解读_xvlm-优快云博客

TurboMind LLM推理引擎

参考博文：

学习笔记 | LMDeploy 量化部署 LLM-VLM 实践_vlm 大模型 封装-优快云博客

​ TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。

​ TurboMind推理引擎仅支持推理TurboMind格式的模型。因此，TurboMind在推理HF格式的模型时，会首先自动将HF格式模型转换为TurboMind格式的模型。该过程在新版本的LMDeploy中是自动进行的，无需用户操作。

​ 几个容易迷惑的点：

TurboMind与LMDeploy的关系：LMDeploy是涵盖了LLM 任务全套轻量化、部署和服务解决方案的集成功能包，TurboMind是LMDeploy的一个推理引擎，是一个子模块。LMDeploy也可以使用PyTorch作为推理引擎。
TurboMind与TurboMind模型的关系：TurboMind是推理引擎的名字，TurboMind模型是一种模型存储格式，TurboMind引擎只能推理TurboMind格式的模型。

                        

主流VLM原理深入刨析（CLIP，BLIP，BLIP2，Flamingo，LLaVA，MiniCPT，InstructBLIP，mPLUG-owl）
u013250861的博客
03-11 1626
代表了一系列视觉语言 (VL) 模型，旨在处理交错的视觉数据和文本，生成自由格式的文本作为输出。(2) BLIP-2 引入了一个资源效率更高的框架，包括用于弥补模态差距的轻量级 Q-Former ，实现对冻结 LLMs 的充分利用。利用 LLMs，BLIP-2 可以使用自然语言提示进行零样本图像到文本的生成。(3) LLaVA 率先将 IT 技术应用到 MM 领域。
VLM 简介：计算机视觉模型的未来 使用 VLM 构建准确率提高 28% 的多模式图像搜索引擎
iCloudEnd的博客
11-11 97
具有数十亿甚至数千亿个参数的LLM已不再是新鲜事物。我们随处可见它们！LLM 研究的下一个重点更倾向于开发多模式模型（全模型）——可以理解和处理多种数据类型的模型。顾名思义，这些模型不仅可以处理文本，还可以分析图像、视频和音频。但我们为什么要这么做呢？万事通，一事无成，但往往比精通一门要好。近年来，我们看到了一种趋势，即通用方法主导狭义方法。想一想。如今，语言驱动的 ML 模型已经变得相对先进和通用。一个模型可以完成翻译、总结、识别语音标签等多项功能。
视觉语言模型（VLM）学习笔记
jacke121的专栏
11-28 2169
视觉语言模型（VLM）学习笔记
对视觉语言大模型VLM的思考
今天写代码了吗
02-05 152
未来很大的应用方向是基于视觉的控制，比如PC端、手机端的AI网页控制，工业中的工控机、机器人控制。而利用视觉语言大模型，VLM可以像人类一样通过眼睛看到的内容来结合自己的思考来操作。这类AI控制的应用市场很大，人们可以通过口语控制设备完成智能操作。视觉语言大模型的优势在于从图像中理解内容。目前来看 RPA+VLM是一个很好的方向。
VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding
afanti_1的博客
04-16 1442
VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding VLM：用于视频理解的任务无关的视频语言模型预训练
VLM（视觉语言模型）综述
qq_46981910的博客
08-30 1万+
对视觉语言多模态的模型进行介绍，涉及CLIP、GLIP、VLMo、Flamingo、BLIP等等。 VLMs的分类：根据VLM的输入处理和输出生成能力将其分为三个不同的组： 视觉语言理解模型：专门为视觉信息与语言的解释和理解而设计的模型 多模态输入文本生成模型：擅长利用多模态输入（如图像、视频和文本）来生成文本内容 多模态输入多模态输出模型：不仅接受多模态输入，还能产生多模态的输出
AIGC（MLLM、VLM、LLM、SD）系列——论文解读目录
TigerZ*的博客
01-08 5886
AIGC（MLLM、VLM、LLM、SD）系列，论文解读目录。快速找到你想要的论文。
『大模型笔记』视觉语言模型解释
AI新视界
04-16 2024
视觉语言模型是指能够从图像和文本中学习的多模态模型。这类模型属于生成模型，能够接收图像和文本输入，并产生文本输出。大型视觉语言模型具备优秀的零样本能力，能够广泛适应多种图像类型，如文档、网页等，并且表现出良好的泛化性。应用场景包括图像聊天、图像识别指导、视觉问答、文档理解和图像描述等。部分视觉语言模型还能识别图像中的空间属性，例如，在被要求检测或分割特定对象时，能够输出边界框或分割蒙版，或定位不同实体并回答关于它们的相对或绝对位置的问题。
用于视觉任务的VLM技术简介
u013250861的博客
10-27 527
对比式目标函数的目的是希望在特征空间使得正样本对之间的距离尽可能接近，而正负样本对之间的距离尽可能远。通常用InfoNCE及其变体作为图像对比学习的目标函数通常由两部分构成，一部分为图像特征到文本特征的InfoNCE，一部分为文本特征与其对应的图像的特征的InfoNCE，将这两者结合作为最终的损失函数。在Image-Text Contrastive的基础上还需要加上label的信息，这里未完待续。。
第四节课《LMDeploy量化部署LLM&VLM实战》学习笔记
weixin_59512778的博客
04-16 844
LMDeploy是涵盖LLM任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和状态推理。
【OpenGL】Shader个人学习笔记（10.5）--Projecting Matrix
qq_34878429的博客
06-25 172
Projection 地形、人物、光照等等（三维信息）------->Vertex------>project------>屏幕2D信息 https://www.youtube.com/watch?v=xZs6K7VLM7A&list=PLlrATfBNZ98foTJPJ_Ev03o2oq3-GGOS2&index=20前两个是X范围，中间是Y范围，最后是Z范围 glm::mat4 proj = glm::ortho(-2.0f, 2.0f, -1.5f, ..
视觉语言模型详解【VLM】
热门推荐
新缸中之脑
05-20 2万+
视觉语言模型被广泛定义为可以从图像和文本中学习的多模态模型。它们是一种生成式模型，可以接受图像和文本输入并生成文本输出。大型视觉语言模型具有良好的零样本能力，具有良好的泛化能力，并且可以处理多种类型的图像，包括文档、网页等。用例包括谈论图像、通过指令进行图像识别、视觉问答、文档理解、图像字幕等。一些视觉语言模型还可以捕获图像中的空间属性。当系统提示检测或分割特定主题时，这些模型可以输出边界框或分割掩码，也可以定位不同的实体或回答有关其相对或绝对位置的问题。
VLM技术介绍
weixin_50518899的博客
07-13 1923
视觉语言模型被广泛定义为可以从图像和文本中学习的多模态模型。它们是一种生成式模型，可以接受图像和文本输入并生成文本输出。大型视觉语言模型具有良好的零样本能力，具有良好的泛化能力，并且可以处理多种类型的图像，包括文档、网页等。用例包括谈论图像、通过指令进行图像识别、视觉问答、文档理解、图像字幕等。一些视觉语言模型还可以捕获图像中的空间属性。当系统提示检测或分割特定主题时，这些模型可以输出边界框或分割掩码，也可以定位不同的实体或回答有关其相对或绝对位置的问题。
20240708 VLM(视觉大模型和视觉语言模型)
GAOSHIQI5322688的博客
07-08 932
不同于全局自注意力，Swin Transformer在每个层次中，窗口内的像素会通过自注意力机制相互作用，而在相邻层之间，窗口会进行一定的位移（Shift），使得窗口之间的信息得以流动，从而实现了在保持较高效率的同时，兼顾了局部和全局信息的融合。类似于CNN（卷积神经网络）中的特征金字塔网络（FPN），Swin Transformer构建了一个层级结构，随着网络层数加深，特征图的空间分辨率逐渐减小，但感受野（能“看”到的图像范围）增大，这样既能捕捉到局部细节又能把握全局上下文。
训练VLM(视觉语言模型)的经验
AIBigModel的博客
10-21 1496
知乎：lym链接：https://zhuanlan.zhihu.com/p/890327005基于prompt确实不行（情况包括格式输出不稳定、格式输出基本不对、任务不完全会、任务完全不会等情况，难度逐渐加大），选择上SFT微调。业务场景基本用不到强化学习，强化解决的是最后一公里的问题，可以理解为有两种非常接近的输出（这两种输出都非常接近目标输出，此时已经解决了90%的问题），强化学习会对相同的输入，打压其中一种不希望的输出，同时增强另一种更接近目标的希望的输出（从DPO loss就可以看出）。
自动驾驶热点VLM（视觉语言模型）！又一次突破！
CV_Autobot的博客
08-29 651
自从谷歌提出ViT、Open AI发布CLIP，视觉语言模型（VLM）便成为了研究热点，凭借跨模态处理和理解能力，以及零样本学习方法，为CV领域带来了重大革新，今年CVPR'24自动驾驶挑战赛中，VLM也是参赛人数最多的赛道，围绕环境感知提升等，应用方案百花齐放，而为了性能不变下压缩模型体量，CVPR'24收录了一项突破性工作，VLM提示蒸馏新方法PromptKD！为了帮助大家综合掌握，集VLM、...
一文深度看懂视觉语言模型 (VLM)
m0_59163425的博客
01-21 3829
视觉语言模型是视觉和自然语言模型的融合。它将图像及其各自的文本描述作为输入，并学习将两种模式的知识关联起来。该模型的视觉部分从图像中捕获空间特征，而语言模型则对文本中的信息进行编码。两种模态的数据（包括检测到的物体、图像的空间布局和文本嵌入）相互映射。例如，如果图像包含一只鸟，模型将学习将其与文本描述中的类似关键字关联起来。这样，模型就会学会理解图像并将知识转化为自然语言（文本），反之亦然。
什么是视觉语言模型？一文深度看懂视觉语言模型 (VLM)
Androiddddd的博客
01-07 1963
很长一段时间以来，人工智能（AI）能够像人类一样有效地理解视觉和文本线索的想法似乎遥不可及且难以想象。然而，随着多模态人工智能的出现，我们看到了一场革命，人工智能可以同时理解各种模态，如文本、图像、语音、面部表情、生理手势等，以理解我们周围的世界。处理多种模态的能力为人工智能应用开辟了各种途径。多模态 AI 的一个令人兴奋的应用是视觉语言模型 (VLM)。这些模型可以同时处理和理解语言（文本）和视觉（图像）的模态，以执行高级视觉语言任务，例如视觉问答 (VQA)、图像字幕和文本到图像搜索。
monkey VLM
最新发布
02-28
### 关于Monkey和VLM的技术文档与使用教程 #### 介绍 视觉语言模型(VLMs)，如LLaVA，在多模态处理方面取得了显著进展，仅需几小时训练就能使大型语言模型(LLM)转换为具备视觉理解能力的模型[^1]。这种高效转化不仅降低了成本，还促进了社区内的研究与发展。 #### Monkey Patching概念简介 在编程领域，“monkey patch”指运行时动态修改类或模块的行为而不改变源码的做法。这一技巧广泛应用于Python等脚本语言中，用于快速修复错误或是实验性功能测试。然而，值得注意的是，此术语中的“monkey”并非特指某种具体技术和VLM无直接关联；它更多是一种软件开发实践方法论上的描述。 #### 结合VLM应用实例 假设要利用上述提到的轻量级多模态对齐学习框架实现一个简单的图片分类器，则可以考虑如下方案： - **环境准备** 安装必要的依赖库，比如PyTorch、Transformers以及datasets等。 ```bash pip install torch transformers datasets ``` - **加载预训练模型** 通过Hugging Face提供的API获取已有的VLM权重文件，并基于此构建自定义网络结构。 ```python from transformers import AutoModelForVision2Seq, AutoProcessor model_name_or_path = "your_pretrained_vlm_model" processor = AutoProcessor.from_pretrained(model_name_or_path) model = AutoModelForVision2Seq.from_pretrained(model_name_or_path) ``` - **数据集处理** 针对特定任务需求调整输入格式，例如采用切片图策略将原始图像分割成多个小块以便更好地捕捉细节特征[^4]。 ```python def preprocess_image(image_paths, max_patches=9): processed_images = [] for path in image_paths: img = Image.open(path).convert('RGB') # Resize and pad to fit the required dimensions resized_img = resize_and_pad(img) patches = slice_into_patches(resized_img, num_patches=max_patches) processed_images.append(patches) return processor(processed_images, padding=True, truncation=True, return_tensors="pt") # Helper function definitions here... ``` - **推理过程** 完成以上准备工作之后就可以调用模型来进行预测操作了。 ```python import torch with torch.no_grad(): outputs = model.generate(**preprocess_image(["path/to/image.jpg"])) print(outputs) ``` #### 注意事项 尽管VLM能够有效提升跨媒体理解性能，但在某些情况下单纯依靠其内置机制未必能获得最佳效果。因此建议尝试引入额外监督信号来增强泛化能力，尤其是在涉及复杂场景解析的任务上[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值