【ChatOCR】OCR+LLM定制化关键信息抽取（附开源大语言模型汇总整理）

背景

最近百度飞桨团队推出了一款基于文心大模型的通用图像关键信息抽取工具PP-ChatOCR。它结合了OCR文字识别和文心一言大语言模型，可以在多种场景下提取图像中的关键信息，效果非常惊艳。而传统的OCR识别技术的准确率容易受到多种因素影响，例如图像质量、字符布局、字体样式等。但当我们将OCR技术与大语言模型相结合时，可以避免繁杂的规则后处理，提升泛化能力，从而能够更智能、准确地理解和利用文本信息。（官方说明）

这里以手机app截图为例，定制化提取其中的感兴趣信息。实现OCR模型提取文字信息，输入LLM分析其识别结果直接给出所关注的关键信息——这就是ChatOCR的核心思想。

技术方案

• 文字识别模型：PP-OCRv4；
• LLM：百度“文心一言”
• 开发环境：Python 3.10 + PaddlePaddle深度学习框架
  

存在的问题及解决思路

1. LLM无法100%准确地判别图像所属的场景
   使用官方给出的思路，即给出场景列表，让大模型识别OCR结果属于哪个场景，然后将其作为key去提前写好的few-shot例子中找到对应场景下的信息抽取结果来指导LLM，然后LLM再根据用户提供的关键信息项和OCR结果得到最终的结果。
   而这种方式依赖于LLM能准确无误的将OCR结果对应到给定列表中的某一个场景，若OCR结果不属于给定场景列表中的任何一个，或者将其错误的归于其他场景，都会导致关键信息提取失败，前者会使程序报错，而后者可能导致不正确的信息提取结果。（实测非卡证场景识别不稳定）
   • 解决思路：取消场景识别这一步骤，直接输入相关例子让LLM学习
2. 大量场景例子无法一次性喂入LLM
   LLM学习的例子太多，token数量的增加会导致成本的上升和推理时间的增加。 ———超过一次输入问题的2000字数限制
   • 解决思路：构建多轮对话，逐次学习例子
3. LLM的记忆遗忘
   多轮对话中bot的回应需要自己写，这个上下文信息会影响到后续的推理结果。对话轮数（例子）越多，LLM对前文的记忆越弱，导致忘记任务要求。
   • 解决思路：in-context learning prompt工程

关键信息提取结果