36、维特比训练中的平局处理

维特比训练中的平局处理

1. 维特比训练的平局问题

在许多自然语言处理（NLP）应用中，最佳解码组件会提供路径或树以收集维特比计数。然而，这种方法存在一个内在问题：当存在多个等概率的路径或树时，通常会随机或系统性地选择单一的路径或树。为了进行正确的训练，规则计数必须均匀地分配给所有等概率的最佳路径或树。虽然可以枚举所有此类路径或树，但时间复杂度会随着模型的歧义性呈指数级增长。

2. 半环解析与演绎系统

2.1 演绎系统

演绎系统规定了解析器如何使用语法规则，从较小的成分和输入句子构建更大的成分。当且仅当所有 $I$ 个条件 $a_0, a_1, \cdots, a_{I - 1}$ 都满足时，才能得出结论 $b$，这可以写成推理规则：
[
\frac{a_0, a_1, \cdots, a_{I - 1}}{b}
]
结论是项目（如标记跨度等部分结果），条件可以是其他结论或公理（语法规则）。

2.2 半环

半环可以看作是加法和乘法的推广，形式上是一个元组 $(A, \oplus, \otimes, 0, 1)$，其中 $A$ 是域，$\oplus$ 是加法的推广，$\otimes$ 是乘法的推广，$0$ 和 $1$ 分别是单位元。以下是几种常见的半环：
| 名称 | 域 | $\oplus$ | $\otimes$ | $0$ | $1$ |
| — | — | — | — | — | — |
| 实数半环 | $\mathbb{R}$ | $+$ | $\times$ | $0$ | $1$ |
| 布尔半环 | ${\text