qq_34193345的博客

原创 OCR记录

可以看到，lstm单元的设计思路是把每个单元当成一个细胞，不同时间步上每个细胞有自己的状态，这是第一个元素，而每个细胞要受上一个细胞状态的影响，所以需要计算出上一个细胞状态的相关权重，在lstm单元的设计里称之为遗忘门，决定从上一个细胞状态设计多少东西。一共四个元素，遗忘门决定上一个细胞状态得加权，输入门决定当前输入的加权，然后更新当前细胞状态（细胞状态也是一个要素），最后输出门输出当前细胞输出和隐藏状态。理解：看当前输入x_t和上一隐藏状态h_{t-1}，为C_{t-1}的每个维度输出0-1之间的值。