OCR多模态大模型：视觉模型与LLM的结合之路

原创最新推荐文章于 2026-10-13 08:28:27 发布 3.2k 阅读 AI写同款

Python_金钱豹

码龄5年墨衍会员 · AI 创作全网分发

1万+粉丝2840篇原创

关注

【ChatOCR】OCR+LLM定制化关键信息抽取（附开源大语言模型汇总整理） OCR文字识别与大语言模型的结合，智能抽取感兴趣的关键信息，无需复杂繁琐的OCR提取结果后处理规则，大大提升泛化性。阅读详情

AI摘要

本文提出Guidance OCR算法，在不额外训练模型的情况下，利用OCR算法获取图片文字内容，约束VLM生成过程，减少视觉信息抽取时的错字情况。还分享了大模型AI学习路径，包括初阶应用、高阶应用、模型训练和商业闭环四个阶段。

在使用多模态大模型(Visual Language Model, VLM)做视觉信息抽取时，常常出现错字的问题。为了解决这一问题，本文提出了一种名为Guidance OCR的方法。该方法在不额外训练模型的情况下，先利用OCR算法获取图片中的文字内容，再利用OCR识别出的文字对VLM的生成过程进行约束，从而一定程度上减少VLM做视觉信息抽取任务时出现错字的情况。

图1：一张医疗发票，其中的敏感信息已被抹去

使用Qwen2-VL-2B模型抽取图1中的信息时，模型原生回答和使用GuidanceOCR后的回答见下表

项目链接：

https://github.com/hzauzxb/guidance-ocr

一、项目背景

视觉信息抽取任务是给定一张单证图片，并从图片中抽取对应的关键字段，如从图1所示的医疗发票中抽取金额合计，住院时间和医保类型。传统的信息抽取模型先利用OCR算法获取图中的文字位置和文字内容，再利用规则引擎或模板匹配获取关键字段。VLM则可以将图片先输入给模型，再用提问题的方式要求模型给出需要抽取的字段。在开放场景的信息抽取中，由于单证板式太多，规则引擎难以维系，因此常常使用基于VLM的方案。

在这里插入图片描述

图2：传统信息抽取流程和多模态大模型(VLM)做视觉信息抽取任务的流程图(以抽取合计金额，医保类型为例)

在实际使用时，为了避免显存OOM，VLM常常会将输入的图像大小限制在一定范围。因此VLM在视觉信息抽取任务中，可能会由于文字太小，模糊不清而给出错误的答案。OCR模型分为检测和识别两部分，检测模型负责给出图中的文字位置，而识别模型会根据检测模型给出的文字位置，将图片中的文字一一裁剪下来，并缩放到指定大小，再去识别文字内容。因此传统OCR模型的识字能力通常是高于多模态大模型的识字能力的。

图3：OCR模型的PipeLine

可以看到，同样是"票据代码"，输入多模态大模型的分辨率是 16 * 48，而输入传统OCR识别模型的分辨率则为 48 * 320。该特性导致在视觉信息抽取任务中，若使用VLM抽取图中较小的字段，会出现错字的问题，而传统OCR模型则基本都能识别出正确的文字。

为了解决该问题，本文提出了名为Guidance OCR的算法，该算法在不额外训练模型的情况下，先利用OCR算法获取图片中的文字内容，再利用OCR识别出的文字对VLM的生成过程进行约束，从而一定程度上减少VLM做视觉信息抽取任务时出现错字的情况。

二、算法流程

本节将先介绍GuidanceOCR的任务设定，再介绍单个字段信息抽取的算法流程(一次调用VLM只抽取图片中的一个关键字段)，最后在介绍多个字段信息抽取的算法流程(一次调用VLM会抽取图片中的多个关键字段，并以Json格式返回结果)。

GuidanceOCR的任务设定

图4：Guidance OCR的输入输出，以及视觉信息抽取任务中常见的三种Case

如图4左侧所示，Guidance OCR会将OCR识别出的文字，需要抽取的字段和对应的图片作为输入，并利用多模态大模型(VLM)获取信息抽取结果。Guidance OCR为测试时增强算法(Test Time Argument, TTA), 其并不要求对VLM进行额外的训练。

如图4右侧所示，视觉信息抽取任务有三种常见的情况即：

1.需抽取的字段为单个文本框，即为图4左侧OCR Text列表中的某个字符串
2.需抽取的字段横跨多个文本框，即为图4左侧OCR Text列表中的多个字符串，按特定顺序组合而成
3.需抽取的字段为文本框中的某一部分，即为图4左侧OCR Text列表中的某个字符串的子串

单个字段的信息抽取

在单个字段信息抽取的场景下，多模态大模型的Prompt和Response的要求如下

图5：Guidance OCR的算法流程，其本质为基于OCR的Token判别器

图5给出了Guidance OCR的算法流程：在VLM每次生成Token的时候，先将候选的token按logit从大到小进行排序(图5 左侧)；再使用基于OCR的token判别器逐个判断候选Token是否合法(图五中间)；找到的第一个合法Token即为VLM该次生成的Token(图5 右侧)；在进行下一次生成候选token前，Guidance OCR还会根据此次生成的Token更新基于OCR的Token判别器(图5 虚线部分)。

图6：基于OCR的Token判断器，其结构为OCR识别出的字符串组成的字典树

图6给出了基于OCR的Token判别器中的数据结构。在该字典树中，每个被OCR识别出的字符串的开头节点和结尾节点都特殊标识了出来。在介绍如何根据该字典树判断Token是否合法前，我们需要先定义字典树上连续的一条边

字典树上连续的一条边：

字典树中从上到下连续的字，如：湖南省，小区，南省长沙市；
若灰色节点后接橙色节点，则仍然连续，如：开福区幸福小区、湖南省幸福小区、襄樊湖南省。

被token判别器判定为合法的候选token必须满足：

若为大模型首次生成的候选token，对应的文字必须是字典树上连续的一条边或生成结束标识符；
若不是大模型首次生成的候选token，大模型之前生成的文字 + 候选token对应的文字，是字典树上连续的一条边或生成结束标识符。

额外的top_k参数：为了节省时间并提高准确率，Guidance OCR会设置top_k参数，在使用图5所示的算法筛选token时，仅筛选logits为前top_k大的token。若前top_k token中无合法token，则直接输出生成结束标识符，结束生成过程。在实际使用中，通常将top_k设定在50到100之间的数值。

小结：在单个字段的信息抽取的场景下，GuidanceOCR会将OCR识别出的文字内容组合成一个字典树并保证大模型的输出内容为字典树上连续的一条边。在这里我们扩展了连续性的定义，这是为了兼容信息抽取时，需抽取的字段横跨多个文本框的情况。

多个字段的信息抽取

在多个字段信息抽取的场景下，多模态大模型的Prompt和Response的要求如下

与上节的方法类似，多个字段的信息抽取仍然是使用图5所示的Token判别器实现的。与上节不同的是，token判别器有json，key和value三个状态

在这里插入图片描述

当生成时，token判别器为json状态，随着生成的进行，token判别器会基于启发式的规则，进行状态转移，从而保证能生成json格式的结果。与2.2节一致，若输出生成结束标识符或top_k内没找到符合条件的候选token时，生成过程结束。

三、模型效果

在信息抽取数据集上，使用Qwen2VL-2B进行测试；输入图像进行等比例缩放，并将最长边固定为1024；使用Guidance OCR的多个字段信息抽取模式；使用transformers中AutoModel.from_pretrained()部署模型，进行infer

四、讨论

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述