初次理解LSTM本质

• RNN(Recurrent Neural Network)

  思想具有持久性，当前的认知是以过往认知为基础的，RNN是包含循环的网络，允许信息的持久化。

  RNN可以看作是同一神经网络的多次复制，每个神经网络模块会把消息传递给下一个。¹

  

  这种链式特征揭示了RNN本质上是与序列和列表相关的，他们是对于这类数据的最自然的神经网络架构。

  RNN现实应用广泛：The Unreasonable Effectiveness of Recurrent Neural Networks 这篇文章展示了许多有趣的应用。

  广泛应用的关键之处就是LSTM（一种特别的RNN）的使用，几乎所有令人振奋的关于RNN的结果都是通过LSTM达到的。

• LSTM(Long Short-Term Memory)

  • Long-Term Dependencies长期依赖问题

    RNN的关键优点就是可以将先前的信息连接到当前任务上。（有点Bayes的味道）

    当前任务与关联的先前信息之间存在一