盘点12种VLM多模态大模型，文档结构化抽取，谁最强？

最新推荐文章于 2025-07-02 15:46:39 发布
原创 最新推荐文章于 2025-07-02 15:46:39 发布 · 725 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #ai #大模型 #AI大模型 #多模态 #多模态大模型 #大模型学习

img

docext提供了以下能力

  • 关键信息提取（KIE）：从非结构化文档文本中提取结构化字段。
  • 视觉问答（VQA）：通过问答评估对文档内容的理解。
  • 光学字符识别（OCR）：衡量识别印刷文本和手写文本的准确性。
  • 文档分类：评估模型对各种文档类型的分类准确性。
  • 长文档处理：测试模型在长篇、有丰富上下文的文档上的推理能力。
  • 表格提取：基准测试从复杂表格格式中提取结构化数据。
  • 置信度评分校准：评估模型预测的可靠性和置信度。

img
最近两年，大家都可以看到AI的发展有多快，我国超10亿参数的大模型，在短短一年之内，已经超过了100个，现在还在不断的发掘中，时代在瞬息万变，我们又为何不给自己多一个选择，多一个出路，多一个可能呢？

与其在传统行业里停滞不前，不如尝试一下新兴行业，而AI大模型恰恰是这两年的大风口，整体AI领域2025年预计缺口1000万人，其中算法、工程应用类人才需求最为紧迫！

学习AI大模型是一项系统工程，需要时间和持续的努力。但随着技术的发展和在线资源的丰富，零基础的小白也有很好的机会逐步学习和掌握。【点击蓝字获取】

【2025最新】AI大模型全套学习籽料（可白嫖）：LLM面试题+AI大模型学习路线+大模型PDF书籍+640套AI大模型报告等等，从入门到进阶再到精通，超全面存下吧！

模型大比拼

img

  • gemini-2.5-flash-preview-04-17综合表现最强

img

  • 关键信息提取，识别和提取发票的名称、日期、金额和其他结构化数据

  • qwen2.5-vl-72b-instruct 在信息抽取方面能打

img

  • 文档问答：主要是问基于文本的问题和需要了解文档的视觉布局和结构的问题
  • o4-mini-2025-04-16 在问答方面还是具备优势的

img

  • OCR能力：主要识别包括手写文本、数字印刷文本和带变音符号的文本。处理各种字体、布局和文档条件，同时保持文本识别的高精度。
  • gemini-2.0-flash在ORC方面还挺强

img

  • 文档分类：主要是考察文档内容、结构和分配正确类别
  • qwen2.5-vl-72b-instruct以上的模型，都能做到99%以上

img

  • 长文档处理：包括跨多个页面维护上下文、了解文档结构以及从大型文档中准确检索信息。
  • 带有推理能力的claude-3.7-sonnet (reasoning:low)占优

img

  • 表格测试稀疏、密集、结构良好的和非结构化格式（例如，没有可见网格线的表），提取表结构、单元格之间的关系以及准确提取数字和文本内容。
  • 在这方面qwen2.5-vl-72b-instruct 垫底

最近两年，大家都可以看到AI的发展有多快，我国超10亿参数的大模型，在短短一年之内，已经超过了100个，现在还在不断的发掘中，时代在瞬息万变，我们又为何不给自己多一个选择，多一个出路，多一个可能呢？

与其在传统行业里停滞不前，不如尝试一下新兴行业，而AI大模型恰恰是这两年的大风口，整体AI领域2025年预计缺口1000万人，其中算法、工程应用类人才需求最为紧迫！

学习AI大模型是一项系统工程，需要时间和持续的努力。但随着技术的发展和在线资源的丰富，零基础的小白也有很好的机会逐步学习和掌握。【点击蓝字获取】

【2025最新】AI大模型全套学习籽料（可白嫖）：LLM面试题+AI大模型学习路线+大模型PDF书籍+640套AI大模型报告等等，从入门到进阶再到精通，超全面存下吧！

vllm 推理vlm多模态大模型 InternVL使用案例；openai、requests接口使用
weixin_42357472的博客
08-10 1476
参考： 支持模型 https://docs.vllm.ai/en/latest/models/supported_models.html模型要升级到这： 部署： api参考：https://platform.openai.com/docs/guides/vision?lang=curl用base64传递图片
多模态大模型：技术原理与实战 微调实战
AI天才研究院
06-25 1641
近年来，随着深度学习技术的快速发展，人工智能领域取得了突破性进展，尤其是在自然语言处理和计算机视觉领域。然而，传统的单模态模型往往只能处理一种类型的数据，例如文本或图像，难以捕捉现实世界中多模态信息之间的复杂关系。为了解决这个问题，研究人员开始探索多模态学习，旨在构建能够同时处理和理解多种模态信息的模型。多模态大模型作为多模态学习的最新进展，通过整合来自不同模态的信息，例如文本、图像、音频和视频，能够实现更全面、更深入的语义理解。
最强开源9B级VLM模型！本地视觉Agent有救了～
最新发布
m0_55861832的博客
07-02 1146
视觉小模型，快、准
VLM视觉语言大模型在智能驾驶中的应用
yuanl15的博客
09-05 4468
即带条件的目标检测，用语言指示模型识别图像中特定目标。和Object Referring相比，Object Referring Tracking会根据自然语言描述在连续帧中对目标进行跟踪。开放式3D目标检测，利用VLM的zero-shot能力检测场景中在白名单之外的目标类型。交通场景视觉问答，这需要vlm的高维场景理解能力。自动驾驶领域的问答可以划分为感知、规划、空间推理、时序推理、因果逻辑推理。感知问题可以用来识别交通参与者，如外观描述、存在性、数量、状态等。
MinerU v2.0：VLM模型捅破解析效果天花板！
兴趣使然的创作者
06-16 4348
之前写 Dolphin 的分析文章时，我对 VLM 进行文档解析的路线始终不抱希望，因为之前的规律表明：只有模型参数足够大，才能获得好效果，小参数模型一致难以企及大参数模型的性能。MinerU 0.9B 的 VLM 模型让人眼前一亮，一个模型同时解决了布局分析、公式识别、文本OCR等各种任务，而且效果不错。本文中的实验结果表明，每块部分都由小模型去做，虽然能应对大多数场景，但对于部分复杂场景，它的瓶颈也暴露无疑，很难再通过数据训练去突破。
主流VLM原理深入刨析（CLIP，BLIP，BLIP2，Flamingo，LLaVA，MiniCPT，InstructBLIP，mPLUG-owl）
ZhengrongYue的博客
12-28 1万+
MLM（CLIP，BLIP，BLIP2，LLaVA，MiniCPT，InstructBLIP，mPLUG-owl）
【大模型/多模态】VLM技术：2025年多模态全面解析，这一篇就够了。
商务合作 | 面试培训 | 职场规划 ==>主页扫码
05-11 4023
VLM技术之：一文掌握多模态
VLM（视觉语言模型）综述
热门推荐
qq_46981910的博客
08-30 1万+
对视觉语言多模态的模型进行介绍，涉及CLIP、GLIP、VLMo、Flamingo、BLIP等等。 VLMs的分类：根据VLM的输入处理和输出生成能力将其分为三个不同的组： 视觉语言理解模型：专门为视觉信息与语言的解释和理解而设计的模型 多模态输入文本生成模型：擅长利用多模态输入（如图像、视频和文本）来生成文本内容 多模态输入多模态输出模型：不仅接受多模态输入，还能产生多模态的输出
大模型框架：vLLM
m0_37559973的博客
05-24 1万+
​vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架。它利用了全新的注意力算法「PagedAttention」，提供易用、快速、便宜的LLM服务。
SOTA多模态大模型！13个开源模型汇总，附论文和代码_开源多模态大模型
2401_85377976的博客
07-10 4501
近年来，多模态大模型（Multimodal Large Language Models, MLLMs）在人工智能领域取得了显著的进展，特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据，如文本、图像、音频和视频，为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型，这些模型在各自的领域中刷新了多个SOTA记录，每个模型都将附上相关的论文和代码，一起看看多模态大模型的最新研究成果吧！论文PDF和开源代码都整理好了😝有需要的小伙伴，可以保存图片到。
LLM - 多模态大模型的开源评估工具 VLMEvalKit 部署与测试 教程
AGI
12-09 1531
VLMEvalKit 是大型视觉语言模型设计的开源评估工具包，由 Open Compass 团队开发，它支持一键式评估体验，无需繁琐的数据准备工作，能够对多种视觉语言模型进行评估，并覆盖了多样化的任务场景。
多模态vlm综述：An Introduction to Vision-Language Modeling 论文解读
samoyan的博客,记录技术成长~
06-06 6119
论文：这里主要整理了多模态的技术发展历程，没有一些实验对比的数据。VLM家族：1）对比训练是一种广泛应用的策略，它采用正面例子和负面例子的配对方式。视觉语言模型（VLM）通过这种方式被训练，以针对正面配对预测出相似的表示，同时对于负面配对则预测出不同的表示。2）掩码技术是另一种训练VLM的策略，它通过重构给定的未掩码文本字幕中缺失的部分来实现。类似地，通过在字幕中掩码词语，也可以训练VLM来重构给定未掩码图像中的这些词语。
大模型---一文看懂视觉语言大模型VLM
智能汽车人的博客
03-19 1396
在之前的博客中，为读者朋友们详细介绍了LLM大语言模型的预训练，微调以及强化学习的详细过程。在上篇博客最后一段，笔者放了一张截图，ChatGPT的创始人卡帕西也说，未来的大模型会朝着多模态，多任务等方向发展。在多模态中，就涉及到音频，图片以及视频等。音频通过识别也会转成语言，本质上和大语言模型原理相同，因此本篇博客自然过渡到视觉语言模型VLM。不管在工作项目还是生活当中，笔者也常常接触大模型。作为大模型的使用者，其确实给生活和工作带来了不少变革，这两年学习大模型也成为了生活中的一部分。
一文深度看懂视觉语言模型 (VLM)
m0_59163425的博客
01-21 5852
视觉语言模型是视觉和自然语言模型的融合。它将图像及其各自的文本描述作为输入，并学习将两种模式的知识关联起来。该模型的视觉部分从图像中捕获空间特征，而语言模型则对文本中的信息进行编码。两种模态的数据（包括检测到的物体、图像的空间布局和文本嵌入）相互映射。例如，如果图像包含一只鸟，模型将学习将其与文本描述中的类似关键字关联起来。这样，模型就会学会理解图像并将知识转化为自然语言（文本），反之亦然。
LLM（大型语言模型） 和 VLM（视觉语言模型）
qq_50857609的博客
03-18 2029
首个版本为Gemini 1.0，包括三个不同体量的模型：用于处理“高度复杂任务”的Gemini Ultra、用于处理多个任务的Gemini Nano和用于处理“终端上设备的特定任务”的Gemini Pro。从2023年12月13日开始，开发者和企业客户可以通过Google的AI Studio和Google Cloud Vertex AI中的Gemini API访问Gemini Pro。：结合掩码语言建模（MLM）与图像-文本匹配（ITM）任务（如VisualBERT）7。
多模态模型（VLM）部署方法抛砖引玉
qingkahui24689的博客
09-30 2791
去年年初LLM刚起步的时候，大模型的部署方案还不是很成熟，如今仅仅过了一年多，LLM部署方案已经遍地都是了。而多模态模型相比大语言模型来说，发展的还没有很“特别”成熟，不过由于两者结构很相似，LLMs的经验还是可以很好地利用到VLMs中。本篇文章中提到的多模态指的是视觉多模态，即VLM（Vision Language Models）。以下用一张图展示下简单多模态模型的运行流程：Text Embeddings即文本输入，就是常见LLM中的输入；
多模态大模型VLMs一年多的进展与思考
lqfarmer的博客
06-22 1778
自从ChatGPT问世以来，人工智能领域经历了一场令人眼花缭乱的变革，特别是在视觉-语言模型（Vision-Language Models, VLMs）的研究和应用上更是如此。VLMs通过结合视觉感知能力和自然语言理解能力，已经在诸如图像描述、视觉问答以及图像和视频的自动标注等多个方面展示出其惊人的潜力和应用价值。随着技术的不断进步，VLMs在处理复杂视觉和语言任务时的性能得到了显著提升，同时也为解决现实世界问题提供了新的视角和工具。在过去的一年中，VLM技术取得了飞速发展。
VLM，LLM等大模型如何应用于机器人控制(以强化学习为例)
weixin_48878618的博客
01-06 4102
再将这个信息传递给LLM模型，由它决定，接下来做什么任务合适，再将相关信息全部传递给DQN(一种强化学习模型)，由该模型输出相应的动作A(如机械臂不同关节移动的角度，移动机器人的移动方位等)，执行相应动作后，会出现新的状态S'，再将这个状态传递给VLM，重新对当前状态进行语义分析，并通过LM模型和之前LLM模型给出的任务指示进行对比，得到语义之间相关性的高低，最终给出奖励R，再将奖励R传递给DQN，不断调整策略Π。：视觉语义模型，准确识别图中有什么，处于什么状态，以及不同物体之间的关联。
一文看懂！视觉语言模型VLM
u012374012的专栏
04-07 1575
视觉语言模型（Visual-Language Models, VLMs）是一种融合视觉信息与语言信息的多模态人工智能模型。它旨在通过同时处理图像、视频等视觉数据以及文本、语音等语言数据，实现对复杂场景的深度理解和生成。这种模型的核心在于打破视觉与语言之间的模态壁垒，使机器能够像人类一样综合运用视觉和语言能力来完成各种任务。在人工智能的发展历程中，视觉和语言一直是两个相对独立的研究领域。计算机视觉专注于图像和视频的识别与理解，而自然语言处理则致力于文本和语音的处理与生成。
多模态大模型ai infra
04-14
<think>好的，我现在需要帮助用户了解多模态大模型的AI基础设施或架构，以及部署方面的内容。首先，我得理解用户的具体需求。用户提到了多模态大模型的基础设施、架构和部署，可能他们正在考虑如何搭建或应用这样的系统，或者想深入了解其技术细节。 接下来，我需要回顾已有的知识。多模态大模型通常处理多种类型的数据，比如文本、图像、音频等，因此架构需要支持这些数据的处理和融合。根据之前提供的引用，用户提到了LLM和VLM，也就是大型语言模型和视觉语言模型，这可能涉及到不同模态的融合技术。 然后，我应该考虑架构的关键组成部分。通常，AI大模型的基础设施包括数据处理层、模型训练层、推理层、资源管理和部署工具。对于多模态模型，可能还需要专门的模块来处理不同模态的数据，比如图像编码器、文本编码器等。此外，硬件加速如GPU和TPU的使用也是重要部分，因为大模型需要强大的计算资源。 部署方面，需要考虑模型优化技术，比如量化、剪枝和蒸馏，以减少模型大小和提高推理速度。同时，分布式训练和推理框架也是必须的，例如使用TensorFlow或PyTorch的分布式训练功能。另外，云原生部署和边缘计算可能也是用户关心的点，特别是如果应用场景需要低延迟或离线处理的话。 用户可能还关心如何确保系统的扩展性和稳定性，比如资源调度和容错机制。此外，安全性和数据隐私在多模态应用中同样重要，尤其是在处理敏感信息时。 我需要确保回答结构清晰，分点说明每个部分，并且引用提供的参考文献。比如，引用[^1]提到AI大模型在自然语言处理、计算机视觉等方面的应用，这可以支持多模态的必要性。引用[^2]提到整合语言能力和视觉认知，这与多模态架构的设计相关。 最后，生成相关问题时要涵盖架构设计、优化、应用场景和挑战，帮助用户进一步探索。需要确保问题具有针对性，能够引导用户深入理解多模态大模型的各个方面。</think>### 多模态大模型的AI基础设施与架构解析 多模态大模型（如GPT-4、CLIP等）通过整合文本、图像、音频等不同模态的数据，实现跨模态理解与生成。其基础设施和架构设计需满足**大规模计算、异构数据处理、高效训练与推理**等需求。以下是核心架构组件及部署要点： --- #### 一、核心架构设计 1. **数据预处理层** - **多模态数据融合**：设计统一的数据表示（如向量嵌入），将文本、图像、音频映射到同一语义空间，例如通过对比学习（Contrastive Learning）对齐特征[^1]。 - **分布式存储**：使用分布式文件系统（如HDFS）或云存储（如AWS S3）管理海量异构数据。 2. **模型训练层** - **混合模态建模**：采用多编码器-单解码器架构（如Transformer），例如CLIP的图文双塔结构[^2]。 - **分布式训练框架**：基于PyTorch的`FSDP`（完全分片数据并行）或TensorFlow的`TPUStrategy`，支持千亿参数规模的训练。 3. **推理服务层** - **轻量化推理引擎**：通过模型剪枝、量化（如INT8）或知识蒸馏降低部署成本。 - **多模态交互接口**：提供统一的API网关，支持文本到图像生成、视频语义检索等跨模态任务。 --- #### 二、关键技术组件 1. **硬件加速** - 使用GPU集群（如NVIDIA A100）或TPU Pods进行并行计算，结合NVLink优化通信带宽。 2. **异构计算框架** - **计算图优化**：利用ONNX Runtime或TensorRT加速模型推理。 - **跨模态对齐工具**：如FAISS库实现大规模向量相似性检索。 3. **资源管理与调度** - 基于Kubernetes的容器化部署，结合Slurm或Ray实现动态资源分配。 --- #### 三、部署实践与挑战 1. **云原生部署** - 通过AWS SageMaker、Google Vertex AI等平台实现弹性扩缩容，按需分配GPU资源。 2. **边缘计算优化** - 模型轻量化后部署至边缘设备（如手机、IoT设备），使用TensorFlow Lite或Core ML框架。 3. **安全与隐私** - 联邦学习（Federated Learning）保护数据隐私，结合同态加密（HE）实现安全推理。 --- #### 四、典型应用场景 1. **医疗诊断**：结合医学影像与文本报告生成诊断建议[^1]。 2. **智能客服**：同时理解用户的语音、文本和图像输入。 3. **工业质检**：通过视觉+传感器数据实现缺陷检测[^2]。 --- 相关问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值