layoutreader：文档阅读顺序识别的高效解决方案

layoutreader：文档阅读顺序识别的高效解决方案

layoutreader A Faster LayoutReader Model based on LayoutLMv3, Sort OCR bboxes to reading order. 项目地址: https://gitcode.com/gh_mirrors/la/layoutreader

项目介绍

layoutreader 是一个基于深度学习的文档阅读顺序识别工具。它主要用于识别文档中的文字块顺序，进而帮助理解文档的结构和内容。layoutreader 的核心是基于 Microsoft 的 LayoutLM 模型，并通过一系列的技术优化，使其在速度和准确性上有了显著提升。

项目技术分析

layoutreader 利用 LayoutLMv3 模型，这是一种专为处理文档布局信息的预训练语言模型。它能够处理文档中的文字和布局信息，预测文字块的阅读顺序。layoutreader 的技术亮点包括：

1. 模型优化：通过使用 LayoutLMv3，layoutreader 能够在保持高准确度的同时，提高处理速度。
2. 数据预处理：layoutreader 提供了脚本将原始的单词级别数据集转换为跨度级别数据集，以适应真实的输入数据。
3. 后处理改进：通过改进后处理逻辑，避免了重复预测的问题，提高了预测的准确性。

项目及技术应用场景

layoutreader 的应用场景广泛，主要包括：

• 文档分析：在处理法律文件、科研论文等文档时，自动识别文档的结构，帮助用户快速定位关键信息。
• 信息抽取：在OCR（光学字符识别）之后，layoutreader 可以帮助确定文字块的阅读顺序，进而更好地理解和提取信息。
• 自动化阅读：在文档处理自动化领域，layoutreader 可以作为阅读理解的一部分，帮助系统理解文档内容。

项目特点

layoutreader 的主要特点如下：

1. 高效性：相较于原始的 seq2seq 模型，layoutreader 的速度有了显著提升，能够在单次推理中获取所有预测结果。
2. 多语言支持：layoutreader 通过只使用边界框（bbox）作为输入，减少了对于文本语言的依赖，使得模型能够支持多种语言。
3. 易于部署：经过代码重构，layoutreader 使用了 Hugging Face 的 transformers 库，使得模型的训练和部署更为便捷。
4. 准确性：layoutreader 在多种数据集上的测试结果显示，其预测的BLEU分数接近或超过了原始单词级别的结果。

以下是关于 layoutreader 的详细介绍：

模型改进

layoutreader 项目的原作者对微软发布的原始 LayoutReader 进行了以下改进：

• 代码重构：使用了 LayoutLMv3ForTokenClassification 进行模型训练和评估，使得代码更加清晰和易于维护。
• 数据集转换：提供了工具将单词级别的数据集转换为跨度级别，以适应真实的输入数据，如PDF解析器或OCR的输出。
• 后处理优化：改进了后处理逻辑，减少了重复预测，提高了预测的准确性。

使用方法

layoutreader 的使用非常简单。首先，从 Hugging Face 模型库中加载预训练模型：

from transformers import LayoutLMv3ForTokenClassification
from v3.helpers import prepare_inputs, boxes2inputs, parse_logits

model = LayoutLMv3ForTokenClassification.from_pretrained("hantian/layoutreader")

然后，准备输入数据（边界框），进行预测，并解析输出：

boxes = [[...], ...]  # 边界框列表
inputs = boxes2inputs(boxes)
inputs = prepare_inputs(inputs, model)
logits = model(**inputs).logits.cpu().squeeze(0)
orders = parse_logits(logits, len(boxes))
print(orders)

或者，可以使用提供的 main.py 脚本启动模型服务。

数据集

layoutreader 使用 ReadingBank 数据集进行训练和评估。数据集可以从 ReadingBank 官方网站下载。项目提供了工具脚本来构建跨度级别的数据集，以适应模型的输入需求。

训练与评估

项目的核心训练和评估代码位于 ./v3 目录中。训练和评估的入口点是 train.sh 脚本和 eval.py 脚本。

结果

layoutreader 在多种数据集上的测试结果显示，无论是对于跨度级别的数据还是单词级别的数据，其预测的BLEU分数都相当高，且速度远快于原始模型。

最后，如果 layoutreader 对您的研究或项目有所帮助，请在您的成果中引用该项目。以下是一个引用示例：

@software{Pang_Faster_LayoutReader_based_2024,
  author = {Pang, Hantian},
  month = feb,
  title = {{Faster LayoutReader based on LayoutLMv3}},
  url = {https://github.com/ppaanngggg/layoutreader},
  version = {1.0.0},
  year = {2024}
}

layoutreader 作为一个高效且易于部署的文档阅读顺序识别工具，为文档处理和分析领域带来了新的可能。通过使用 layoutreader，开发者和研究人员可以更快速、更准确地处理文档信息，提升工作效率。

layoutreader A Faster LayoutReader Model based on LayoutLMv3, Sort OCR bboxes to reading order. 项目地址: https://gitcode.com/gh_mirrors/la/layoutreader