RAG系列（十二）：MinerU、Docling还是Unstructured？用OmniDocBench评测开源文档解析工具

引言

从写 RAG 开发入门这一系列文章开始，特别是文档解析这个环节，有很多读者询问某个文档解析工具的能力怎么样，和其它工具对比如何，这表明开源社区虽然涌现出了很多的文档解析工具，但是它们在实际场景的表现到底如何，这在很多人中是没有太明确答案的。因而，面对众多工具的选择，我们期望能有一个统一的基准来评估其实际效果，而且对于大部分人来说是需要开箱即用的。

本文我将介绍一款由上海人工智能实验室开源的多源文档解析评测框架 - OmniDocBench[1]，凭借其多样性、全面性和高质量标注数据以及配套的评测代码，是一个不错的衡量文档解析工具性能的选择。

目前OmniDocBench已被CVPR2025接受！ CVPR2025是计算机视觉与模式识别领域的顶级国际学术会议，被誉为计算机视觉领域的“三大顶会”之一（与ICCV、ECCV并列）。

OmniDocBench论文[2]：

https://arxiv.org/html/2412.07626v1

高质量基准测试集

OpenDataLab下载地址：https://opendatalab.com/OpenDataLab/OmniDocBench

Hugging Face下载地址：https://huggingface.co/datasets/opendatalab/OmniDocBench

高质量基准测试集是OmniDocBench的核心价值，其特点主要包括：

• • 文档类型多样：该评测集涉及 981 个 PDF 页面，涵盖9 种文档类型（如学术文献、财报、报纸、教材、手写笔记等）、4 种排版类型（表格密集型、图文混合型、纯文本型等）和3 种语言类型（中文、英文、混合语种）；
• • 标注信息丰富：包含 15 个 block 级别（文本段落、标题、表格等，总量超过 20k）和 4 个 Span 级别（文本行、行内公式、角标等，总量超过 80k）的文档元素的定位信息，以及每个元素区域的识别结果（文本 Text 标注，公式 LaTeX 标注，表格包含 LaTeX 和 HTML 两种类型的标注）。OmniDocBench 还提供了各个文档组件的阅读顺序的标注。除此之外，在页面和 block 级别还包含多种属性标签，标注了 5 种页面属性标签、3 种文本属性标签和 6 种表格属性标签；
• • 标注质量高： 经过人工筛选、智能标注、人工标注及全量专家质检和大模型质检，数据质量较高。

数据展示

支持多种衡量指标

OmniDocBench目前支持的衡量指标包括：

1. 1. Normalized Edit Distance（归一化编辑距离）：这个指标计算两个字符串之间的最小编辑操作次数（包括插入、删除、替换），并将这个距离进行归一化处理，通常用于衡量两个字符串或文本序列之间的相似度。归一化处理是为了让结果在 0 到 1 之间，便于比较；
2. 2. BLEU（双语评价替补/Bilingual Evaluation Understudy）：BLEU 是机器翻译领域中常用的自动评估指标，它通过比较候选译文和一组参考译文之间的 n-gram 重叠程度来计算得分，以此衡量机器翻译的质量。BLEU 分数越高，表示机器翻译的结果越接近人工翻译；
3. 3. METEOR（基于明确排序的翻译评估/Metric for Evaluation of Translation with Explicit ORdering）：METEOR 是一个更加复杂的翻译质量评估指标，它不仅考虑了单词精确匹配，还包括词干匹配、同义词匹配等，并且会根据词序差异对得分进行调整。因此，它比 BLEU 更能反映句子间的语义相似性；
4. 4. TEDS（基于树编辑距离的表格相似度/Tree-based Edit Distance for Tables）：TEDS 是一种专门用来评估表格结构相似度的指标。它将表格转换为树形结构，然后计算两棵树之间的编辑距离，以此来衡量表格结构上的相似度。这种指标特别适用于表格解析或者表格生成任务中的准确性评估；
5. 5. COCODet (mAP, mAR, etc.)：COCODet 指的是使用在 COCO 数据集上定义的一系列目标检测性能评估指标，主要包括：

• • mAP（平均精度均值/Mean Average Precision）：衡量模型在不同 IoU（交并比）阈值下的平均精度；
• • mAR（平均召回率均值/Mean Average Recall）：衡量模型在不同 IoU 阈值下的平均召回率。

每个指标都有其特定的应用场景和优势，你可根据具体的应用需求和上下文配置合适的衡量指标。

开箱即用的评测方法

OmniDocBench开发了一套基于文档组件拆分和匹配的评测方法，对文本、表格、公式、阅读顺序这四大模块分别提供了对应的指标计算，评测结果除了整体的精度结果以外，还提供了分页面以及分属性的精细化评测结果，精准定位模型文档解析的痛点问题。

下载项目

git clone https://github.com/opendatalab/OmniDocBench.git

环境配置和运行

conda create -n omnidocbench python=3.10
conda activate omnidocbench
pip install -r requirements.txt

下载评测集

OpenDataLab下载地址：https://opendatalab.com/OpenDataLab/OmniDocBench

Hugging Face下载地址：https://huggingface.co/datasets/opendatalab/OmniDocBench

评测集的文件夹结构如下：

OmniDocBench/
├── images/     // Image files
│   ├── xxx.jpg
│   ├── ...
├── pdfs/       // Same page as images but in PDF format
│   ├── xxx.pdf
│   ├── ...
├── OmniDocBench.json // OmniDocBench ground truth

评测配置

所有的评测的输入都是通过config文件进行配置的，在configs路径下提供了各个任务的模板。

比如端到端评测，你只需要在end2end.yaml文件中的ground_truth的data_path中提供 OmniDocBench.json的路径，在prediction的data_path中提供包含推理结果的文件夹路径，如下：

# -----以下是需要修改的部分 -----
dataset:
dataset_name:end2end_dataset
ground_truth:
data_path:./OmniDocBench.json
prediction:
data_path:path/to/your/model/result/dir

配置好config文件后，只需要将config文件作为参数传入，运行以下命令即可进行评测：

python pdf_validation.py --config configs/end2end.yaml

对开源工具的评测

可以端对端评测综合能力，也可以分项（文本、公式、表格、布局）评测。

下面各个开源工具/模型的评测结果均是基于OmniDocBench的真实评测，可直接作为选择的依据。

端到端评测

端到端评测是对模型在PDF页面内容解析上的精度作出的评测。以模型输出的对整个PDF页面解析结果的Markdown作为Prediction。

公式识别评测

OmniDocBench包含每个PDF页面的公式的bounding box信息以及对应的公式识别标注（包括行间公式equation_isolated和行内公式equation_inline），因此可以作为公式识别评测的benchmark。

文字OCR评测

OmniDocBench包含每个PDF页面的所有文字的bounding box信息以及对应的文字识别标注（包含block_level的标注和span_level的标注），因此可以作为OCR评测的benchmark。

表格识别评测

OmniDocBench包含每个PDF页面的公式的bounding box信息以及对应的表格识别标注（包括HTML和LaTex两种格式），因此可以作为表格识别评测的benchmark。

布局检测

OmniDocBench包含每个PDF页面的所有文档组件的bounding box信息，因此可以作为布局检测任务评测的benchmark。

结语

本文给大家介绍了一款由上海人工智能实验室开源的多源文档解析评测框架-OmniDocBench，希望大家通过该评测框架，可以选出适合自己实际业务场景的文档解析工具。

大模型算是目前当之无愧最火的一个方向了，算是新时代的风口！有小伙伴觉得，作为新领域、新方向人才需求必然相当大，与之相应的人才缺乏、人才竞争自然也会更少，那转行去做大模型是不是一个更好的选择呢？是不是更好就业呢？是不是就暂时能抵抗35岁中年危机呢？

答案当然是这样，大模型必然是新风口！

那如何学习大模型 ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。但是具体到个人，只能说是：

最先掌握AI的人，将会比较晚掌握AI的人有竞争优势。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

但现在很多想入行大模型的人苦于现在网上的大模型老课程老教材，学也不是不学也不是，基于此我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近100余次后，终于把整个AI大模型的学习路线完善出来！

在这个版本当中：

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型路线+学习教程已经给大家整理并打包分享出来, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型学习资源包》免费分享（安全咨料，放心领取）👈

​

一、大模型经典书籍（免费分享）

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套大模型报告（免费分享）

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、大模型系列视频教程（免费分享）

四、2025最新大模型学习路线（免费分享）

我们把学习路线分成L1到L4四个阶段，一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方二维码，免费领取

👉优快云大礼包🎁：全网最全《LLM大模型学习资源包》免费分享（安全资料，放心领取）👈

​