12、LSTM AI建模：前向传播、反向传播与性能评估

LSTM AI建模：前向传播、反向传播与性能评估

1. LSTM神经网络基础

1.1 LSTM前向传播计算

LSTM神经网络中的记忆单元操作可以用数学表达式表示。假设第j个记忆单元中的记忆细胞初始值或前一个时间步的输入结果为 $s_j(t - 1)$，那么当前时间步t要更新的记忆细胞中保留记录的值为：
$$s_j(t) = g_j^F(t)s_j(t - 1) + g_j^I(t)w_j(t)$$
其中，等式右边第一项是记忆单元接收到的输入值，第二项是记忆单元继承的上一时刻的状态。

$w_j(t)$ 的计算公式为：
$$w_j(t)=\sum_i u_{ji}\mathbf{x} i(t)+\sum {j’} u_{jj’}z_{j’}(t - 1)$$
这里，$u_{ji}$ 和 $u_{jj’}$ 分别是从输入层到中间层以及从中间层上一个时间步到当前时间步的耦合权重。同时，会对这些输入的总和添加激活函数。

输入门和遗忘门的门值 $g_j^I(t)$ 和 $g_j^F(t)$ 分别为：
$$g_j^I(t) = \text{Sig}(\sum_i u_{ji}^I\mathbf{x} i(t) + \sum_j u {jj’}^Iz_{j’}(t - 1))$$
$$g_j^F(t) = \text{Sig}(\sum_i u_{ji}^F\mathbf{x} i(t) + \sum_j u {jj’}^Fz_{j’}(t - 1))$$

记忆单元的输出由 $s_j(t)$ 表示，而最终输出 $z_j(t)$