一碗白开水一

CTC 原理看了那么多的原理，觉得简单易懂的就这个：LOSS:如上图，对于最简单的时序为２的（t0t1）的字符识别，可能的字符为“ａ”，“ｂ”和“－”，颜色越深代表概率越高。对于真实字符为空即“”的概率为0.60.6=0.36而真实字符为“ａ”的概率不只是”aa” 即0.40.4 ,　实时上，“aa”, “a-“和“-a”都是代表“ａ”，所以，“ａ”的概率为：0.40.4 + 0.4 * 0.6 + 0.60.4 = 0.16+0.24+0.24 = 0.64所以“ａ”的概率比空“”的概率高

1、N-Gram在深度学习之前最常用的技术是N-gram语言模型问题：N-gram的问题是训练资料仍然不足，会限制精度，即某种N-gram没有出现并不能代表它们出现几率是0，language model smoothing的技术可以用来解决这一问题解决方法：方法来源于推荐系统中的矩阵分解，通过最小化目标函数来估计单词向量，如果两个单词向量越接近，则这两个单词后面接某个单词的概率应相似，通过h向量和v向量相乘来计算连续语言模型中的表格中的值。连续语言模型和深度学习的关系，即相当于只有一层的神经.

encoder:decoder:对于图片也可以：

由于seq2seq模型中，decoder 非常依赖encoder后的context.但context中的信息太多，不能针对性的生成正确的decoder.因此引入attention.Match函数可以自己设计,z1 是c0 输入到RNN后hidden layer的输出qj=WqZjq_j = W_qZ_jqj​=Wq​Zj​ki=Wkhik_i = W_kh_iki​=Wk​hi​vi=Wvhiv_i = W_vh_ivi​=Wv​hi​[a1j,a2j,...,anj]=softmax([k1,k

首先被google提出的 transformer is all you need 中提出的。对于有时序的模型来说，RNN 是需要依靠前/后的信息，不能并行处理。Transformer 则采用CNN 替换rnn来实现并行处理。

RNNRNN简单结构图：计算推导：ht=fsigmoid(u∗xt+w∗ht−1)yt=fsigmoid(ht∗v)h_t = f_{sigmoid}(u*x_t+w*h_{t-1}) \\y_t = f_{sigmoid}(h_t*v)ht​=fsigmoid​(u∗xt​+w∗ht−1​)yt​=fsigmoid​(ht​∗v)LSTM...