25、俄语医学文本拼写校正工具：创新与性能评估

俄语医学文本拼写校正工具：创新与性能评估

1. 工具实现

新的俄语医学文本拼写校正工具用 Python 编写，由七个组件构成，其架构能有效处理文本拼写问题。各组件功能如下：
- 预处理器（Pre - processor） ：将文本拆分为单个单词，去除标点和大小写，确定原始单词的词形和词形信息。
- 后处理器（Post - processor） ：将校正后的单词恢复为原始单词的形式，并重新组合成完整文本。
- 字典组件（Dictionary） ：包含正确单词的字典，仅含 Aspell 俄语字典和几个医学字典中的词形化单词，共 214629 个主形式单词，用于快速判断单词是否正确。
- 错误模型组件（Error Model） ：使用 Damerau - Levenstein 编辑距离生成校正错误单词的候选列表，此操作计算量大。
- 编辑距离索引组件（Edit Distance Index） ：包含特殊索引，可显著加速候选列表生成操作，提升工具整体性能。
- 语言模型组件（Language Model） ：对编辑候选进行排序，选择最合适的替换错误单词。采用基于 BERT 架构的微调机器学习模型对俄语医学文本候选进行排序，能考虑错误单词周围的上下文，提高排序质量和校正准确性。

graph LR
    A[输入文本] --> B[预处理器]
    B -