深度学习：手撕 RNN（1）-RNN 的直观认识

 本文首次发表于知乎，欢迎关注作者。

1. RNN是什么

RNN（Recurrent Neural Network）存在很多变体，为了方便叙述和理解，本文选取一个基本的 RNN 结构进行说明，该结构与 pytorch 中的 RNN 函数（[1]）相同。

对于 MLP 或者 CNN 架构的模型，每一个输入， 仅有一个 label  与之对应，不同样本之间的输入和输出没有依赖关系。如图 1-1， 给 CNN 模型展示“北极熊”的图片，模型输出“北极熊”，给模型展示“小猫”的图片，模型输出“小猫”，“北极熊”和“小猫”之间没有任何联系，像这种模型属于“one-shot” 模型。但我们的人脑不是“one-shot”模型，我们的人脑不断的接收信息，然后再结合以前的经验和记忆，处理当前的信息，最后得到输出，然后再将相关信息传递给下一个时刻。比如看到“北极熊”时，我们的大脑当前时刻输出为“北极熊”，下一个时刻输出“逃跑”；看到“小猫”时，当前时刻大脑识别出“小猫”，下一时刻大脑输出“抚摸小猫”。

图 1-1: CNN 输入输出模式

对于非“one-shot”的模型，在处理每个时刻的输入数据时，模型还结合了过去时刻的“经验”或者“记忆”，