深度/机器学习基础知识要点：CTC算法

• Connectionist Temporal Classification (CTC)

  CTC适合语音识别和手写字符识别任务

• 定义
  输入表示：符号序列 $X=[x_1,x_2,...,x_T]$
  输出表示：符号序列$Y=[y_1,y_2,...,y_U]$

  目标：找到输入X与输出Y之间精确的映射关系。

  • 难点：

    1、X和Y都是变长的
    2、X和Y的长度比也是变化的
    3、X和Y相应的元素之间没有严格的对齐(即$x_t与y_u$不一定对齐)

• 损失函数的定义
  对于给定的输入$X$，我们训练模型希望最大化$Y$的后验概率$P(Y|X),P(Y|X)$应该是可导的，这样我们就能利用梯度下降训练模型了。

• 预测
  当我们已经训练好一个模型后，输入$X$，我们希望输出$Y$的条件概率最大，即

  $$Y\ast =$$