CTC介绍（connectionist temporal classification论文翻译）

最新推荐文章于 2024-03-10 07:56:10 发布

原创

最新推荐文章于 2024-03-10 07:56:10 发布 · 3.2k 阅读

10 ·

CC 4.0 BY-SA版权

本文深入解析CTC（Connectionist Temporal Classification）技术，探讨其在序列标注任务中的应用，特别是与RNN结合处理未分割序列数据的优势。文章对比了CTC与其他模型如HMM和CRF，阐述了CTC在网络输出到标签转换、构建分类器及神经网络训练过程中的关键步骤。

1.摘要

我基本是基于论文《Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks 》进行翻译总结的。看论文题目就知道CTC与RNN密切相关，联系在一起的，以及应用于不分割（Unsegmented ）序列，点对点预测。

在CTC（connectionist temporal classification）前，HMMs（隐马尔可夫模型hidden Markov Models）、CRFs（条件随机场模型conditional random fields）以及相关变体，是主要用来进行序列标注的方法。这些方法一是需要大量的目标识别知识，二是有一些假设条件，比如HMM的独立分布性假设，三是比如HMM，即使序列标准是不恰当的，也可以进行训练。

HMM-RNN模型，可以处理长序列结构的数据。但是其中HMM是自动分割序列，然后转换网络分类到标签序列，没有有效利用整个序列的特点。

CTC不需要预分割训练数据、后期加工的输出，直接作用于整个序列。CTC是把网络输出作为基于输入序列的所有可能标签序列的一个概率分布。

2.Temporal Classification

X：输入空间。m 维实数向量
Z：目标空间，Z=L*。基于标签的字母表L的序列集合。
L：L*中的（多个）元素是标签序列的来源。
S：基于固定的分布D（X,Z）获得的训练样本集。S中的每个样本是（x,z）。目标序列z = (z1, z2, …, zU ) ，输入序列x = (x1, x2, …, xT )。z 的长度U要小于x的长度T，即U<=T。也就是输入与目标的长度可以不一致。
h : X → Z的函数，该函数定义为temporal classification。
S`:属于固定的分布D（X,Z），但与S不相交的集合。
ED(p, q)：p序列与