详细版【循环神经网络RNN】（邱锡鹏）

循环神经网络RNN

详细代码实现见同专栏下博文

• 给网络增加短期记忆能力的方法

  • 延时神经网络：
    • 在前馈网络中的每个非输出层都添加一个延时器，记录神经元的最近几次活性值。
    • 在第 t 个时刻，第 𝑙 层神经元的活性值依赖于第 𝑙 − 1 层神经元的最近𝐾 个时刻的活性值，即 𝒉_𝑡^(𝑙) = 𝑓(𝒉_𝑡^(𝑙−1) ,𝒉_𝑡-1^(𝑙−1) , ⋯ , 𝒉_𝑡−𝐾^(𝑙−1))，其中𝒉_𝑡^(𝑙) ∈ ℝ^𝑀𝑙 表示第 𝑙 层神经元在时刻 𝑡 的活性值。
  • 有外部输入的非线性自回归模型NARX
    • 自回归模型AR：用一个变量 𝒚_𝑡 的历史信息来预测自己． 𝒚𝑡 = 𝑤₀ + ∑ 𝑤_𝑘𝒚_𝑡−𝑘 + 𝜖_𝑡 ，其中𝐾为超参数，𝑤₀ , ⋯ , 𝑤_𝐾 为可学习参数，𝜖_𝑡 ∼ 𝒩(0, 𝜎² )为第𝑡 个时刻的噪声， 方差和时间无关。
    • NARX是自回归模型的扩展：在每个时刻 𝑡 都有一个外部输入𝒙_𝑡，产生一个输出𝒚_𝑡，NARX通过一个延时器记录最近𝐾_𝑥次的外部输入和最近𝐾_𝑦次的输出，第 t 个时刻的输出 𝒚_𝑡 为 𝒚_𝑡 = 𝑓(𝒙_𝑡 , 𝒙_𝑡−1, ⋯ , 𝒙_{𝑡−𝐾𝑥} , 𝒚_𝑡−1, 𝒚_𝑡−2, ⋯ , 𝒚_{𝑡−𝐾𝑦} )，其中𝑓(⋅)表示非线性函数，可以是一个前馈网络，𝐾_𝑥 和𝐾_&#x