8、提升文档图像理解与脚本事件预测的新方法

提升文档图像理解与脚本事件预测的新方法

文档图像信息提取的强化学习微调

训练算法

训练信息提取器（SpanIE-Recur）时，使用算法 1 中的详细协议，结合奖励机制进行训练。具体步骤如下：
1. 从训练数据中抽样文档及其问题集，形成强化学习轨迹。
2. 针对每个问题，拼接文档和问题的表示，构建当前状态，注重事件内上下文和事件间顺序信息建模。
3. 从 SpanIE-Recur 的 softmax 层抽样起始 - 结束动作，提取问题的候选答案。
4. 根据候选答案和真实值计算奖励，构建强化学习的损失函数，优化 SpanIE-Recur。

设置与评估指标

数据集

实验使用两个公共数据集（SROIE 和 CORD）和两个私有数据集（内部数据集 1 和内部数据集 2）：
- SROIE ：英文扫描收据图像集，每张收据需提取地址、公司、日期和总计四个字段。
- CORD ：印尼商店和餐厅的收据集，有 4 个类别下的 30 个语义标签。与 SROIE 相比，CORD 数据更嘈杂、质量更低。
- 内部数据集 1 ：日本技术文档图像集。
- 内部数据集 2 ：日本发票数据集。

评估指标

采用标准的字段级精确率、召回率和 F1 分数（加权平均）评估测试集结果。

基线

以 SpanIE-Recur 的监督学习结果（采用 Layou