吴恩达深度学习笔记3

序列模型

为什么选择序列模型：


数学符号：





循环神经网络模型：















通过时间的反向传播:






不同类型的循环神经网络:







语言模型和序列生成:













对新序列采样:








循环神经网络的梯度消失:



GRU 单元:

















长短期记忆LSTM:












双向循环神经网络:







深层循环神经网络:




词汇表征 词嵌入:






使用词嵌入:







词嵌入的特性:








学习词嵌入 嵌入矩阵：














Word2Vec Skip-Gram模型：












负采样：








GloVe 词嵌入(选)：









情感分类：








词嵌入除偏：






seq2seq：





选择最可能的句子：








集束搜索：











改进集束搜索：




注意力模型直观理解：






注意力模型：








语音识别：









触发字检测：