36、文本图像文档数据集综合解析

文本图像文档数据集综合解析

在文本图像相关的研究与实验中，数据集的选择和使用至关重要。不同的数据集具有各自的特点和适用场景，下面将为大家详细介绍一些常用的数据集。

1. 数据集呈现方式

数据集的呈现主要有两种风格：
- 对于部分数据集，如 IAM、BEN1、BEN2、BEN3、GW、PAR 和 PLA，查询集从训练/验证词库中提取，因此报告有多少查询词出现在测试集中很有必要，这些出现在测试集的词被称为“相关词”。
- 而对于 BEN4、PAS、CHA、TSO、CAR 和 FCR 等数据集，查询集从相应的测试集词库中提取，所有查询词都保证是相关的。

2. IAM 数据集

• 数据集概况 ：IAM 数据集由瑞士伯尔尼计算机科学与应用数学研究所（IAM）的计算机视觉与人工智能研究小组（FKI）整理。该数据集可公开获取，非商业研究目的可免费申请使用。其手写文本图像由 500 人转录兰卡斯特 - 奥斯陆/卑尔根（LOB）语料库的文本片段生成，文本片段包含 3 - 6 个句子，至少 50 个单词，书写风格和用笔无限制，图像扫描分辨率为 300dpi。
• 数据划分 ：官方版本 3.0 的数据集划分为 747 个训练页面（6161 个文本行，来自 283 位作者）、两个验证集（分别为 105 页和 115 页）和 232 个测试页面（1861 行，来自 128 位作者）。但在实际实验中，采用了不同的划分方式，具体统计如下表所示：
  | 划分 | 作者数量 | 页面数量 | 文本行数量 | 单词数量 | 字符数量（不含空格等辅助符号） |