LSTM cell结构的理解和计算

LSTM是传统RNN网络的扩展，其核心结构是其cell单元，网上LSTM的相关资料繁多，质量参差不齐，下面主要结合LSTM神经网络的详细推导和 Christopher Olah的blog两篇文章中的内容进行说明。主要介绍网络如何计算，为何这么算先不展开:)。前者一副图加上29个公式，简洁明了；后者娓娓道来，适合初学者。

首先是LSTM cell最常见的结构图：

这是变形的版本（找不到更清晰的版本了），其中输入门控制输入（新记忆）的输入幅度；遗忘门控制之前记忆状态的输入幅度；输出门控制最终记忆的输出幅度。图中的三角形其实就是乘法符号。