CTC原理介绍

最新推荐文章于 2023-05-25 00:49:52 发布

林ch

最新推荐文章于 2023-05-25 00:49:52 发布

阅读量3.5k

点赞数

CC 4.0 BY-SA版权

分类专栏：文本识别

本文链接：https://blog.youkuaiyun.com/linchuhai/article/details/84957043

1. 引言

现实生活当中，序列标注任务随手可见，比如语音识别、图像文本识别、手势识别等，这些任务有一个共同的特点，就是输出是变长的，如果利用传统的RNN来进行预测，那么会遇到一个问题，就是需要将RNN的输出与真实标签进行一一对齐，这样一来，就会导致数据集的构造特别麻烦，需要耗费大量的人力和时间，因此，CTC方法的提出就是为了解决这个问题，该方法可以不用要求对输出的标签进行对齐，直接利用RNN的输出进行预测并训练。原始论文链接如下：

论文地址：《Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks》

下面将对该方法进行展开具体介绍。

2. CTC方法原理

2.1 CTC方法介绍

记 $S$ 是从一个固定分布 $\mathcal { D } _ { \mathcal { X } \times \mathcal { Z } }$ 抽样出来的训练集， $\mathcal { X } = \left( \mathbb { R } ^ { m } \right) ^ { * }$ 为所有输入序列的向量表示，每个输入序列的维度为m， $\mathcal { Z } = L ^ { * }$ 表示所有输出字符类别的集合，在 $S$ 中的每一个样本都包含一对配对的序列 $( \mathbf { x } , \mathbf { z } )$ ，其中，目标序列 $\mathbf { z } = \left( z _ { 1 } , z _ { 2 } , \dots , z _ { U } \right)$ 的长度不能超过输入序列 $\mathbf { x } = \left( x _ { 1 } , x _ { 2 } , \dots , x _ { T } \right)$ 的长度，即 $U \leq T$ 。因此，序列标注任务的目的其实就是利用 $S$ 训练一个时序分类器 $h : \mathcal { X } \mapsto \mathcal { Z }$ ，使得其错误率尽可能低。那么，如何评估 $h$ 的错误率呢，作者介绍了一个LER（label error rate）的评估指标，其计算公式如下：

$L E R \left( h , S ^ { \prime } \right) = \frac { 1 } { \left| S ^ { \prime } \right| } \sum _ { ( \mathbf { x } , \mathbf { z } ) \in S ^ { \prime } } \frac { E D ( h ( \mathbf { x } ) , \mathbf { z } ) } { | \mathbf { z } | }$

其中， $E D ( \mathbf { p } , \mathbf { q } )$ 表示两个序列p和q之间的编辑距离，即p转换成q需要的插入、替换、移除字符的操作次数， $S ^ { \prime } \subset \mathcal { D } _ { \mathcal { X } \times \mathcal { Z } }$ 表示与 $S$ 不相交的测试集。

定义一个RNN网络，该RNN网络的输入维度为m，输出维度为n，记其权重矩阵 $w$ 为变换 $\mathcal { N } _ { w } :\left( \mathbb { R } ^ { m } \right) ^ { T } \mapsto \left( \mathbb { R } ^ { n } \right) ^ { T }$ ，令