2、瑞典专利文本OCR后校正及糖尿病专利检索系统研究

瑞典专利文本OCR后校正及糖尿病专利检索系统研究

1. 瑞典专利文本OCR后校正

1.1 实验数据处理

最初的专利文档集合包含完整的专利文件，但由于难以正确识别 UHCC 中权利要求部分的起始和结束位置，可用于实验的文档数量进一步减少。通过简单算法收集了 15,442 条权利要求，并每隔一个专利选取一个作为样本，最终留下 7,721 条专利权利要求进行处理。这些专利的申请时间从 1974 年 12 月 19 日的 SE413741 到 1979 年 8 月 15 日的 SE438394。在基准真值选择中，平均每条权利要求有 2396 个字符（中位数为 1985）和 342 个单词（中位数为 284）。

1.2 校正方法

1.2.1 词法过滤器（Lexical Filter）

从 SCC 集合（未用于实验）中提取 3000 个无法通过 SWETWOL2 软件进行形态分析的单词，手动评估并校正这些单词。优化后，发现 1142 个单词不会与其他瑞典语单词混淆。在 SCC 中识别出 114 种不同的字母序列模式，其中空格分隔的单词几乎完全局限于 “känneteckna”（表征）和 “därav”（那）的不同形式。

1.2.2 通用过滤器（Generic Filter）

通用过滤器使用有限的词法资源和手头材料之外的观察知识，旨在“即时检测和校正”。它由两个算法组成：
- 第一个算法针对空格分隔的单词，特别针对 “känneteckna” 和 “därav” 等单词。
- 第二个算法针对 OCR 错误。通用检测和校正算法（GDC）的基本假设是 OCR 软件工具生成的正确单词实