语言模型错误率分布估计与字符串中位数编辑方案
在文本处理和模式识别领域,语言模型的错误率分布估计以及数据集的编辑处理是两个重要的研究方向。本文将介绍一种语言模型错误率分布的估计方法,以及一种基于快速双字符串中位数计算的新数据集编辑方案。
语言模型错误率分布估计
在不同的语言模型中,通过错误纠正解析(ECP)等方法得到的分布差异很大。这使得选择一个一致的拒绝阈值变得非常困难,因为对于给定的阈值,接受和拒绝的字符串数量会因语言模型的特性而有很大不同,并且稍微移动阈值就可能导致接受/拒绝字符串比例的不可预测变化。因此,需要一个更具可预测性的置信指数。
为了估计测试样本的错误率分布与转换成本之间的函数关系,提出了以下步骤:
1. 从一种语言的手动标记的光学字符识别(OCR)假设字符串的代表性样本中获取一组转换成本,学习与每个成本相关的错误率(错误率分布),然后用这些信息为同一语言的新样本找到拒绝阈值。
2. 当系统中定义新的语言模型时,提出一种仅使用通过回归技术直接在语言模型上测量的特征来估计其错误率分布的自动方法,避免了获取、OCR处理和手动验证大量字符串这一耗时的过程。
语言模型错误率分布建模
给定一个语言模型和使用后处理算法从代表性OCR假设字符串样本中获得的一组转换成本(这些样本的真实转录已手动获取),可以使用以下公式计算不同成本c的平滑错误率直方图$H_E(c)$:
$H_E(c, w) = \frac{|S^-
{c,w}|}{|S
{c,w}|}$
其中,w是平滑窗口大小参数,$|S^-
{c}|$是在成本介于$c - w$和$c + w$之间时被“错误纠正”为错误字符串的数量,$|S
{c}|$是在该区间内的字符串总数。窗口大小也可以动态定义,以包含围绕c的给定数量的成本,而不是固定的成本区间。
通过累积$H_E$的平均值,可以轻松找到在测试样本$S’$上获得给定错误率$\epsilon$所需的拒绝阈值$T_c$:
$E(i) = \frac{\sum_{c = c_1}^{c_i} H_e(c, w)}{i}, c \in S’$
$E(i)$在每个点的值是成本小于或等于$c_i$的字符串的平均错误率。$T_c$是曲线达到$\epsilon$时的最大值(由于曲线可能在某些点下降,应选择c的最后一个值,以在给定$\epsilon$的情况下最大化接受字符串的数量)。
新语言模型错误率分布估计
设$H_C$是属于一种语言的字符串(正样本)的转换成本直方图。由于它不依赖于OCR过程,因此可以很容易地从正字符串列表中获得。研究发现,OCR假设字符串(其中许多有错误)的成本分布与同一语言模型的正样本(无错误)的成本分布之间存在相关性,并且不同语言的成本分布明显不同。
基于此,提出使用从一组已知语言模型的$H_C$和$H_E$直方图中提取的特征组成的训练集,构建一个回归模型,该模型能够根据新语言的$H_C$直方图(输入)预测其预期的错误率分布$\hat{H}_E$(目标输出)。
实验
使用四种不同的语言模型进行留一法估计实验,包括西班牙人口普查中的姓名和姓氏、所有西班牙市镇以及一个较小地区的市镇。对于每个实验,从每个语言模型中随机选择2000个OCR假设字符串来构建单个回归模型。训练模型时,结合了每种语言的多个特征,包括描述$H_E$分布的转换成本和错误率,以及描述$H_C$分布的统计信息,如均值、中位数、方差、百分位数、变异系数和区间频率。回归的目标输出变量是应用语言模型时每个成本对应的错误率。
测试了几种回归模型(支持向量机回归、径向基函数和多层感知器),结果以估计偏差表示,即估计错误(根据回归模型估计的错误率分布$\hat{H}_E$计算)与测试集中测量的实际错误之间的差异。
实验结果表明,估计在所有情况下都有用,但在姓名和西班牙市镇的情况下更准确。在通常可接受的错误率范围(1% - 2%)内,对于表现较好的两种语言,误差偏差足够小,可以直接使用;对于表现较差的两种语言,也是进行轻微经验调整的良好起点。通过使用更多的语言模型训练回归模型,结果有望得到显著改善。
以下是实验的主要步骤总结:
1. 选择四种语言模型进行留一法估计实验。
2. 从每个语言模型中随机选择2000个OCR假设字符串构建回归模型。
3. 结合多种特征训练回归模型,目标输出为每个成本对应的错误率。
4. 测试几种回归模型,以估计偏差衡量结果。
5. 分析不同语言模型在不同错误率范围内的表现。
| 语言模型 | 估计准确性 | 可接受错误率范围表现 |
|---|---|---|
| 姓名 | 较准确 | 误差偏差小,可直接使用 |
| 姓氏 | 一般 | 可作为经验调整起点 |
| 西班牙市镇 | 较准确 | 误差偏差小,可直接使用 |
| 当地地区市镇 | 一般 | 可作为经验调整起点 |
下面是语言模型错误率分布估计的流程图:
graph TD;
A[获取已知语言模型样本] --> B[计算H_E和H_C直方图];
B --> C[提取特征构建训练集];
C --> D[构建回归模型];
D --> E[新语言模型输入H_C特征];
E --> F[回归模型预测H_E分布];
F --> G[确定拒绝阈值];
基于快速双字符串中位数计算的新编辑方案
数据集编辑技术可以提高最近邻分类器的响应。传统的编辑算法主要关注从集合中删除错误标记的实例,而本文提出了一种基于Wilson编辑过程的新方法,用于编辑以字符串表示的实例数据集。
当实例被误分类时,该方法会在数据集中添加一个人工实例,这个人工实例是误分类样本与其同类最近邻的中位数。实验表明,这种预处理方案在约78%的试验中可以降低分类错误。
原型构建
为了计算代表两个字符串的原型(即中位数字符串),该方法关注从计算这两个字符串之间的距离所收集的信息。
编辑距离
设$\Sigma$是一个字母表,$S_1 = {S_{11}, S_{12}, …, S_{1m}}$和$S_2 = {S_{21}, S_{22}, …, S_{2n}}$是$\Sigma$上的两个字符串($m, n \geq 0$),$S_1$和$S_2$之间的编辑距离$D(S_1, S_2)$定义为将$S_1$转换为$S_2$所需的基本编辑操作。通常考虑三种编辑操作:
- 用$S_2$中的符号b替换$S_1$中的符号a,记为$w(a, b)$。
- 在$S_1$中插入$S_2$中的符号b,记为$w(\epsilon, b)$。
- 删除$S_1$中的符号a,记为$w(a, \epsilon)$。
如果每个操作的成本为$e(q_i)$,则将$S_1$转换为$S_2$的编辑操作序列$Q_{S_1}^{S_2}$的成本为$E_{Q_{S_1}^{S_2}} = \sum_{i = 1}^{k} e(q_i)$,编辑距离$D(S_1, S_2)$定义为:
$D(S_1, S_2) = \arg\min{ E_{Q_{S_1}^{S_2}}}$
对于Freeman链码字符串,替换成本计算如下:
$e(w(a, b)) = \arg\min{|a - b|, 8 - |a - b|}$
插入和删除操作的成本选择为2,这是替换操作最大成本的一半。使用Wagner提出的动态规划算法可以在$O(L_{S_1} \times L_{S_2})$时间内计算$D(S_1, S_2)$,其中$L_S$表示字符串S的长度。
快速中位数字符串计算
一组字符串T的中位数可以简要定义为实现以下条件的字符串R:
$\arg\min_R{\sum_{S_i \in T} D(R, S_i)}$
该方法通过将最小成本编辑序列$Q_{S_1}^{S_2}$中的一部分编辑操作应用于$S_1$来计算两个字符串$S_1$和$S_2$的中位数R。为了选择要应用的编辑操作,会测试$Q_{S_1}^{S_2}$中的每个元素,以估计它将如何影响$D(S_1, R)$和$D(S_2, R)$,算法寻求满足以下条件的字符串R:
$\arg\min_R{|D(R, S_1) - D(R, S_2)|}$
以下是用于搜索满足要求的编辑操作的函数:
QS2_S1: minimum cost edit sequence to transform S1 into S2.
d: difference between cumulative S1 and S2.
r: the better consecutive symbols corresponding to d difference.
function FindOp(opi, aS1, aS2) : (d, r)
/* opi: index of the operation op ∈ QS2_S1 to analyze if is applied or not */
/* aS1 = 0: cumulative distance of applied editions over D(R, S1) */
/* aS2 = 0: cumulative distance of applied editions over D(R, S2) */
/* better = (∞, ∅): local better result */
if (opi == 0) then
better = (aS1 - aS2, ∅)
else
case QS2_S1[opi] :
- w(bS1, ε):
/* Deletion */
/* Rejected */
(dno, rno) = FindOp(opi - 1, aS1, aS2 + e(w(bS1, ε)))
/* Accepted */
(dyes, ryes) = FindOp(opi - 1, aS1 + e(w(ε, bS1)), aS2)
if (|dyes| < |dno|) then
better = (dyes, ryes ∪ {bS1})
else
better = (dno, rno)
end if
- w(ε, bS2):
/* Insertion */
/* Rejected */
(dno, rno) = FindOp(opi - 1, aS1, aS2 + e(w(ε, bS2)))
/* Accepted */
(dyes, ryes) = FindOp(opi - 1, aS1 + e(w(bS2, ε)), aS2)
if (|dyes| < |dno|) then
better = (dyes, ryes ∪ {bS2})
else
better = (dno, rno)
end if
- w(bS1, bS2):
/* Substitution */
foreach symbol m satisfying (3) and (4)
(d, r) = FindOp(opi - 1, aS1 + e(w(m, bS1)), aS2 + e(w(m, bS2)))
if (|d| < |better|) then
better = (d, r ∪ {m})
end if
end foreach
end case
以下是双字符串中位数计算的流程图:
graph TD;
A[输入S1和S2] --> B[计算编辑距离和最小成本编辑序列QS1_S2];
B --> C[遍历QS1_S2中的操作];
C --> D[测试操作对D(R, S1)和D(R, S2)的影响];
D --> E[选择合适的操作应用到S1];
E --> F[生成中位数字符串R];
综上所述,语言模型错误率分布估计方法为自动确定拒绝阈值提供了有效的途径,而基于快速双字符串中位数计算的新编辑方案为降低分类错误提供了一种新的预处理策略。这些方法在文本处理和模式识别领域具有重要的应用价值。
语言模型错误率分布估计与字符串中位数编辑方案
新编辑方案的应用与效果分析
新的编辑方案在实际应用中具有重要意义,特别是在处理手写字符数据集时。通过在数据集中添加人工实例(即误分类样本与其同类最近邻的中位数),可以有效地降低分类错误。下面详细分析该方案的应用过程和效果。
应用过程
- 数据准备 :收集手写字符数据集,将每个字符实例编码为字符串表示,例如Freeman链码。
- 实例分类 :使用最近邻分类器对数据集中的实例进行分类。
- 发现误分类实例 :找出被错误分类的实例。
- 计算中位数 :对于每个误分类实例,找到其同一类别的最近邻实例,并计算它们的中位数。
- 添加人工实例 :将计算得到的中位数作为人工实例添加到数据集中。
- 重新训练分类器 :使用更新后的数据集重新训练最近邻分类器。
效果分析
通过对两个广泛使用的手写字符数据集进行实验,发现该预处理方案在约78%的试验中可以降低分类错误。这表明新编辑方案在提高分类准确性方面具有显著效果。
以下是新编辑方案应用过程的表格总结:
| 步骤 | 操作内容 |
| ---- | ---- |
| 1 | 收集并编码手写字符数据集 |
| 2 | 使用最近邻分类器进行分类 |
| 3 | 找出误分类实例 |
| 4 | 计算误分类实例与其同类最近邻的中位数 |
| 5 | 将中位数作为人工实例添加到数据集 |
| 6 | 重新训练最近邻分类器 |
下面是新编辑方案应用过程的流程图:
graph TD;
A[数据准备] --> B[实例分类];
B --> C[发现误分类实例];
C --> D[计算中位数];
D --> E[添加人工实例];
E --> F[重新训练分类器];
两种方法的综合应用与展望
语言模型错误率分布估计方法和基于快速双字符串中位数计算的新编辑方案可以综合应用于文本处理和模式识别的多个场景。例如,在OCR后处理中,可以先使用错误率分布估计方法确定合适的拒绝阈值,过滤掉可能错误的识别结果;然后使用新编辑方案对剩余的结果进行预处理,进一步提高分类准确性。
未来,可以从以下几个方面对这两种方法进行改进和拓展:
1.
更多语言模型的训练
:使用更多种类和规模的语言模型训练回归模型,以提高错误率分布估计的准确性。
2.
算法优化
:对快速双字符串中位数计算算法进行优化,减少计算时间和空间复杂度。
3.
跨领域应用
:探索这两种方法在其他领域的应用,如语音识别、图像识别等。
以下是综合应用的步骤列表:
1. 在OCR后处理中,使用语言模型错误率分布估计方法确定拒绝阈值。
2. 过滤掉可能错误的OCR识别结果。
3. 对剩余的结果使用新编辑方案进行预处理。
4. 使用预处理后的结果进行分类或其他任务。
通过综合应用这两种方法,并不断进行改进和拓展,有望在文本处理和模式识别领域取得更好的效果,为实际应用提供更可靠的支持。
344



被折叠的 条评论
为什么被折叠?



