多模态大模型解读

最新推荐文章于 2025-04-23 09:20:30 发布
最新推荐文章于 2025-04-23 09:20:30 发布
阅读量1.7k 收藏 20
点赞数 9
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： 人工智能 多模态
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45888932/article/details/139814550

目录

1. CLIP

2. ALBEF

3. BLIP

4. BLIP2

参考文献

        （2023年）视觉+语言的多模态大模型的目前主流方法是：借助预训练好的LLM和图像编码器，用一个图文特征对齐模块来连接，从而让语言模型理解图像特征并进行深层次的问答推理。

        这样可以利用已有的大量单模态训练数据训练得到的单模态模型，减少对于高质量图文对数据的依赖，并通过特征对齐、指令微调等方式打通两个模态的表征。下图来自其他 up 的概括内容，来自：https://zhuanlan.zhihu.com/p/653902791

        对于CLIP部分公式均参照该链接，仅了解损失函数。

图 基础MLLM的架构整理

1. CLIP

        分别对图像、文本进行特征提取，两部分的backbone可以分别采用Resnet系列模型/VIT系列模型、BERT模型。特征提取后，直接相乘计算余弦相似度，然后采用对比损失（info-nce-loss）。

训练损失

  • 交叉熵代价损失（cross entropy）：基础有监督学习分类损失函数。

图 n个类别多分类的交叉熵代价函数

  • NCE（noise contrastive estimation）：相比于交叉熵损失，这里将多问题转化为二分类问题，即正样本和噪声样本，目标学习正样本和噪声样本之间的差异。

图 噪声对比

最低0.47元/天 解锁文章

200万优质内容无限畅学
多模态大模型：技术原理与实战 国内多模态大模型介绍
AI智能涌现深度研究
06-22 501
1. 背景介绍 随着人工智能技术的不断发展，多模态大模型已经成为了当前研究的热点之一。多模态大模型是指能够处理多种模态数据的人工智能模型，例如图像、音频、文本等。这些模型可以通过对多种模态数据的融合和分析，实现更加智能的任务，例如图像识别、语音识别、自然语言处理等。在国内，多模态大模型的研究也取得了不少成果。本文将介绍一些国内的多模态大模型，并对它们
多模态大模型：技术原理与实战 全球多模态大模型介绍
AI天才研究院
06-11 2363
关键词：多模态大模型、深度学习、计算机视觉、自然语言处理、跨模态学习、迁移学习、人工智能随着人工智能技术的飞速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。多模态大模型能够同时处理和理解多种类型的数据，如文本、图像、音频和视频等，这为AI系统在复杂场景下的应用提供了更加强大和灵活的能力。本文将深入探讨多模态大模型的技术原理，介绍其实战应用，并对全球主要的多模态大模型进行全面的介绍和比较。
多模态大模型
2402_84466582的博客
06-17 774
首先，数据融合是一个关键问题，不同模态的数据具有不同的特征和表示方式，如何有效地将它们融合起来是一个难题。多模态大模型是一种能够处理多种媒体数据类型的模型，它通过将不同模态的数据进行联合训练，学习它们之间的关联，从而提高模型的性能和泛化能力。是一种基于深度学习的机器学习技术，其核心思想是将不同媒体数据（如文本、图像、音频和视频等）进行融合，通过学习不同模态之间的关联，实现更加智能化的信息处理。总之，多模态大模型通过融合不同模态的数据，实现了更全面、更智能的信息处理，为多个领域带来了革命性的变革。
【多模态大模型】 BLIP in ICML 2022
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
07-30 1286
BLIP：该方法分别使用ViT和BERT进行图像和文本特征提取；提出使用image-text contrastive learning (ITC)损失、image-text matching (ITM)损失、Language Modeling (LM)损失进行模型优化；提出Captioning and Filtering (CapFilt)生成并过滤从网络上获取的图像-文本对。
多模态大模型大比拼：CLIP、BLIP 系列、LLaVA、miniGPT4 谁更胜一筹？
最新发布
大模型研究中心
04-23 1381
从图像识别到自然语言处理，这些模型正逐渐打破模态之间的壁垒，展现出前所未有的潜力。今天，我们将深入探讨 CLIP、BLIP 系列、LLaVA、miniGPT4 和 InstructBLIP 这些热门多模态大模型，通过对比它们的架构、性能、应用场景和优缺点，为你揭示它们各自的特点和未来的发展方向。究竟是哪一款模型能够在多模态领域脱颖而出？让我们一探究竟！CLIP（Contrastive Language–Image Pre-training）是由 OpenAI 提出的一种用于将图像和文本进行联合表示的模型。
万字长文解读深度学习——多模态模型CLIP、BLIP、ViLT
分享包括但不限于计算机基础知识、数据结构与算法、Golang技术栈。年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及！
11-10 2698
万字长文解读深度学习——多模态模型CLIP、BLIP、ViLT
多模态大模型思路
AI从业者的专栏
06-10 846
关于多模态模型设计的构思——直接以原始图像的Patch作为图像输入，文本部分还是常规预测下一个Token，图像部分则用输入加噪图像来重构原图，这种组合理论上能以最保真的方式实现多模态生成。初步来看，直接以原始图像的Patch作为输入的Transformer，是有可能训练出成功的图像扩散模型的，那么这种扩散与文本混合的模型设计，也就有成功的可能了。
4个多模态大模型关键技术
10-21
本文将深入探讨“4个多模态大模型关键技术”，这一主题涵盖了一系列先进技术，包括LLM辅助视觉推理、多模态上下文学习、多模态思维链以及多模态指令微调。以下是对这些关键技术的详细解读。 首先，LLM（Large ...
多模态大模型：技术原理与实战 多模态大模型评测数据集
AI天才研究院
07-17 1233
多模态大模型：技术原理与实战 多模态大模型评测数据集 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词： 多模态大模型，技术原理，实战案例，评测数据集，自然语言处理，计算机视觉，融合技术
多模态大模型：技术原理与实战 多模态大模型高效的训练方法
AI天才研究院
07-10 1191
多模态大模型：技术原理与实战 多模态大模型高效的训练方法 关键词： 多模态大模型 技术原理 实战指南 高效训练方法 1. 背景介绍
多模态大模型学习路线
xieshidun_0612的博客
02-19 1044
1、凯恩博士的多模态大模型文章梳理(更新至24年2月)：多模态大模型文章梳理(更新至24年2月) - 知乎
多模态大模型（2）--BLIP
burstone的专栏
11-14 1007
大模型如火如荼，研究者们已经不再满足于基本文本的大语言模型（LLM, Large Language Model），AI领域的热点正逐步向多模态转移，具备多模态能力的多模态大型语言模型（MM（Multi-Modal）-LLM）就成了一个备受关注的研究主题。BLIP（Bootstrapping Language-Image Pretraining）是由Salesforce在2022年提出的多模态预训练模型，它旨在统一视觉语言任务的理解与生成能力，并通过对噪声数据的处理来提高模型性能。
【大模型系列】统一图文理解与生成(BLIP/BLIPv2/InstructBLIP)
kabuto_hui的博客
03-16 4392
问题一：目前VLP（Vision-Language Pre-training）数据大多来自于网络爬取，如CLIP。其中的caption包含很多噪声，不是一个理想的监督来源；问题二：在以往的VLP框架中，仅在理解任务或者生成任务方面表现出色，很少有可以兼顾的模型。针对问题一：提出一种bootstrapping caption的方案来“提纯”带噪声的网络爬取数据，从而提升多模态模型的能力；针对问题二：提出一种新的VLP框架BLIP统一视觉语言理解和生成任务，比现有的方法更适应广泛的下游任务；
多模态模型BLIP(Bootstrapping Language-Image Pre-training)论文与代码分析
hjhr2018的博客
07-15 2256
1、从模型角度来看，大多数方法要么采用基于编码器的模型，要么采用编码器-解码器模型。编码器的模型不太容易直接迁移到文本生成的任务中，如图像标题（image captioning）等；编码器—解码器模型还没有被成功用于图像-文本检索任务。2、从数据角度来看，大多数sota的方法，如CLIP都是对从网上收集的图像—文本对（image-text pair）进行预训练。尽管可以通过扩大数据集的规模来获得性能上的提高，但研究结果显示，有噪声的网络文本对于视觉语言学习来说只能得到次优的结果。
【多模态大模型】跨越视觉-语言界限：BLIP的多任务精细处理策略
Debroon
02-04 1932
CLIP（Contrastive Language-Image Pre-training）模型和BLIP（Bootstrapping Language-Image Pre-training）模型虽然都是视觉-语言预训练模型，但它们在设计和功能上有一些关键的不同。
多模态大模型系列论文（ALBEF、BLIP、BLIP-2）
Yafee的专栏
04-04 3467
1）当前 视觉-语言 预训练（VLP）推动了 视觉语言预训练任务的性能，然而大多数现有的预训练模型或者擅长基于理解的任务（分类）或者基于生成的任务之一。利用动量蒸馏的方式，模型将不在惩罚模型合理的输出，即使这个输出与网络标签不一致，提升从网络噪声数据中学习的能力。2）训练多模模型，利用到了互联网上爬取的数据，这些数据中往往存在大量噪声，传统的图文特征融合训练模式（如 MLM, masked language modeling） 可能过拟合到噪声文本上，从而影响模型的泛化性能。
BLIP2原理解读——大模型论文阅读笔记二
Guo_Python的博客
06-20 8230
端到端训练视觉语言模型需要大尺度模型及大规模数据，该过程成本大，本文提出方法基于现有高质量视觉模型及语言大模型进行联合训练，为减少计算量及防止遗忘，作者对预训练模型进行frozen，为了将两任务对齐，作者提出Querying Transformer (Q- Former) 预训练，如图1，其将有用视觉特征传递至LLM输出目标文本。代码：https://github.com/salesforce/LAVIS/tree/main/projects/blip2。
MiniGPT4系列小结（MiniGPT4，MiniGPT4-v2）
weixin_40779727的博客
12-10 2352
简单的概括：通过投影层来将图片的特征转化为LLM能够理解的token，剩下的就和LLM做的一样了。用了更丰富的指令集数据集、微调更多的训练参数、用了更多的GPU training hours，使minigpt支持更为丰富的多模态能力。为了避免生成caption答非所问的情况，作者还对生成的每一个图文对进行了人工check，以此保证数据集的质量。我们训练自己的多模态模型的时候，可以根据需要构建自己的instruction数据集。对多模态模型进行指令集微调，通过不同的instruction来实现不同的任务。
多模态大模型ocr
04-02
### 多模态大模型在OCR技术中的应用 多模态大模型（Multimodal Large Models, MLMs）因其强大的跨模态理解能力，在光学字符识别（Optical Character Recognition, OCR）领域展现了显著的优势。这些模型不仅能够处理单一的文本数据，还能融合来自图像和其他媒介的信息，从而提升OCR任务的效果。 #### 背景与基础 近年来，人工智能的发展推动了深度学习的进步，特别是在多模态大模型方面。这类模型具备处理多种类型数据的能力，例如文本、图像、音频和视频等，并能从中提取有价值的信息[^1]。这种特性使其非常适合应用于复杂的OCR场景，尤其是在需要结合视觉信息和语义理解的情况下。 #### 技术实现 为了更好地评估多模态大模型在OCR任务上的表现，研究人员开发了一系列基准测试工具，如OCR Bench。该工具提供了针对OCR任务的具体评测标准，强调通过更详细的答案来展示模型的实际性能，而不仅仅是简单的输出结果[^4]。这意味着多模态大模型在执行OCR任务时，不仅要完成基本的文字识别工作，还需要综合考虑上下文环境以及不同模式之间的关联性。 以下是基于Python的一个简单示例代码片段，用于演示如何加载预训练好的多模态大模型并进行OCR操作： ```python from transformers import AutoProcessor, AutoModelForVision2Seq processor = AutoProcessor.from_pretrained("microsoft/trocr-base-printed") model = AutoModelForVision2Seq.from_pretrained("microsoft/trocr-base-printed") def perform_ocr(image_path): image = Image.open(image_path).convert("RGB") # 加载图片文件 inputs = processor(images=image, return_tensors="pt") # 图像预处理 generated_ids = model.generate(inputs.pixel_values) # 执行OCR推断 result_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0] return result_text # 使用函数读取一张图片并打印其文字内容 print(perform_ocr('example_image.png')) ``` 此代码展示了利用Transformers库加载一个预先训练过的多模态模型来进行OCR的过程。其中`AutoProcessor`负责准备输入数据，而`AutoModelForVision2Seq`则完成了实际的序列生成过程。 #### 应用实例 在文档图像智能处理和分析领域，多模态大模型的应用尤为突出。通过对不同类型和来源的数据进行全面且精准的处理与解析，可以有效改善文档图像的内容理解和分类效率[^3]。比如，在医疗记录数字化过程中，除了单纯的文字转录外，还可以加入表格结构化解读等功能，进一步提高自动化水平和服务质量。 #### 总结 综上所述，借助于先进的算法框架和技术手段，当前的多模态大模型已经在OCR方向取得了令人瞩目的成就。它们不仅可以单独胜任传统意义上的字符辨识职责，还能够在更加复杂的情境下发挥重要作用。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值