从Cell State开始
在下面的过程中,我们总是用语言模型作为例子来说明,心中始终有个具体例子对照,可以大大减轻理解上的困难。
来看这句话:“我是中国人,我会说中文”,我们的任务是根据这句话前面的内容,预测最后的两个字“中文”。要做到这一点,模型必须能够记住前面的信息,尤其是“中国人”。在LSTM中,记住前面的信息是通过Cell State来实现的。
所以,在理解LSTM的结构时,应始终以 Cell State为中心,这样就抓住了理解其结构的关键。
先来看一张LSTM的完整结构图,然后我们再来一步步从Cell State开始分析里面的内容。
完整图如下:

Cell State 的传递过程如下所示:

我们看到,当xt输入到Cell中后,Cell State 从Ct-1变到了Ct。
C是一个向量,