RNN 循环神经网络 计算过程（通俗+公式版+运行实例）

RNN 循环神经网络 计算过程（通俗+公式版）

RNN 的核心是对序列数据按时间步依次计算，每个时刻都复用同一套权重，并把上一时刻的状态传给下一时刻。

---

1. 符号定义

-$x_t$ ：第$t$ 时刻输入
-$h_{t-1}$ ：上一时刻隐藏状态
-$h_t$ ：当前时刻隐藏状态
-$W_{xh}$ ：输入到隐藏层权重
-$W_{hh}$ ：隐藏层自循环权重
-$b_h$ ：隐藏层偏置
-$W_{hy}$ ：隐藏到输出权重
-$b_y$ ：输出偏置
-$\tanh$ ：激活函数

---

2. 单步计算流程

对每个时间步$t$ ：

① 计算隐藏状态

$$h_t=\tanh (W_{xh}{x}_t+W_{hh}{h}_{t-1}+b_h)$$

• 初始状态：$h_0=0$ （全零向量）

② 计算输出

$$y_t=W_{hy}{h}_t+b_y$$
（分类任务后接 softmax，回归任务直接输出）

---

3. 完整前向传播（序列展开）

给定序列$x_1,x_2,\dots ,x_T$ ：

1.$t=1$
$$h_1=\tanh (W_{xh}{x}_1+W_{hh}{h}_0+b_h),y_1=W_{hy}{h}_1+b_y$$

2.$t=2$
$$h_2=\tanh (W_{xh}{x}_2+W_{hh}{h}_1+b_h),y_2=W_{hy}{h}_2+b_y$$
3. 一直重复到$t=T$
$h_T=\tanh (W_{xh}{x}_T+W_{hh}{h}_{T-1}+b_h),y_T=W_{hy}{h}_T+b_y$

关键：所有权重$W_{xh},W_{hh},W_{hy}$ 在所有时间步共享。

---

4. 反向传播 BPTT 要点

• 损失：$L={\sum }_{t=1}^T{L}_t(y_t,{\hat{y}}_t)$
• 梯度沿时间反向传播，对$W_{xh},W_{hh},W_{hy}$ 求导并累加
• 容易出现梯度消失/爆炸，所以后来才有 LSTM、GRU

---

5. 极简总结

RNN 就是：
输入 + 上一时刻状态 → 激活 → 当前状态 → 输出
一步一步沿着序列走，权重全程不变。

好，我们直接来一个标准矩阵版 RNN 手算例子，维度小、步骤全，能看清每一步矩阵运算。

1. 设定参数

• 输入维度：$d_x=2$
• 隐藏层维度：$d_h=2$
• 输出维度：$d_y=1$
• 序列长度 $T=2$，输入：
  $$x_1=\left[\begin{array}{c}1\\ 0\end{array}\right],x_2=\left[\begin{array}{c}0\\ 1\end{array}\right]$$
• 初始隐藏状态：
  $$h_0=\left[\begin{array}{c}0\\ 0\end{array}\right]$$

权重矩阵（手动给定）

$$W_{xh}=\left[\begin{array}{cc}0.1& 0.2\\ 0.3& 0.4\end{array}\right],W_{hh}=\left[\begin{array}{cc}0.5& 0.6\\ 0.7& 0.8\end{array}\right],b_h=\left[\begin{array}{c}0.1\\ 0.2\end{array}\right]$$

$$W_{hy}=\left[\begin{array}{cc}0.9& 1.0\end{array}\right],b_y=0.1$$
激活函数：$\tanh$

2. 计算公式

$$h_t=\tanh \left(W_{xh}{x}_t+W_{hh}{h}_{t-1}+b_h\right)$$

$$y_t=W_{hy}{h}_t+b_y$$

3. 计算 t=1

1. 线性部分
   $$W_{xh}{x}_1=\left[\begin{array}{cc}0.1& 0.2\\ 0.3& 0.4\end{array}\right]\left[\begin{array}{c}1\\ 0\end{array}\right]=\left[\begin{array}{c}0.1\\ 0.3\end{array}\right]$$

$$W_{hh}{h}_0=0$$

$$z_1=W_{xh}{x}_1+W_{hh}{h}_0+b_h=\left[\begin{array}{c}0.1\\ 0.3\end{array}\right]+\left[\begin{array}{c}0.1\\ 0.2\end{array}\right]=\left[\begin{array}{c}0.2\\ 0.5\end{array}\right]$$
2. 激活
$$h_1=\tanh \left[\begin{array}{c}0.2\\ 0.5\end{array}\right]\approx \left[\begin{array}{c}0.197\\ 0.462\end{array}\right]$$
3. 输出
$$y_1=\left[\begin{array}{cc}0.9& 1.0\end{array}\right]\left[\begin{array}{c}0.197\\ 0.462\end{array}\right]+0.1\approx 0.177+0.462+0.1=0.739$$

4. 计算 t=2

1. 线性部分
   $$W_{xh}{x}_2=\left[\begin{array}{cc}0.1& 0.2\\ 0.3& 0.4\end{array}\right]\left[\begin{array}{c}0\\ 1\end{array}\right]=\left[\begin{array}{c}0.2\\ 0.4\end{array}\right]$$

$$W_{hh}{h}_1=\left[\begin{array}{cc}0.5& 0.6\\ 0.7& 0.8\end{array}\right]\left[\begin{array}{c}0.197\\ 0.462\end{array}\right]\approx \left[\begin{array}{c}0.376\\ 0.507\end{array}\right]$$

$$z_2=\left[\begin{array}{c}0.2\\ 0.4\end{array}\right]+\left[\begin{array}{c}0.376\\ 0.507\end{array}\right]+\left[\begin{array}{c}0.1\\ 0.2\end{array}\right]=\left[\begin{array}{c}0.676\\ 1.107\end{array}\right]$$
2. 激活
$$h_2=\tanh \left[\begin{array}{c}0.676\\ 1.107\end{array}\right]\approx \left[\begin{array}{c}0.588\\ 0.803\end{array}\right]$$
3. 输出
$$y_2=\left[\begin{array}{cc}0.9& 1.0\end{array}\right]\left[\begin{array}{c}0.588\\ 0.803\end{array}\right]+0.1\approx 0.529+0.803+0.1=1.432$$

5. 最终结果

$$h_1\approx \left[\begin{array}{c}0.197\\ 0.462\end{array}\right],y_1\approx 0.739$$

$$h_2\approx \left[\begin{array}{c}0.588\\ 0.803\end{array}\right],y_2\approx 1.432$$

---

6. 矩阵版 RNN 核心要点

1. 每一步都是矩阵乘法 + 向量加法
2. $W_{xh},W_{hh},W_{hy}$ 在所有时间步完全共享
3. 隐藏状态 $h_t$ 是向量，负责携带历史信息
4. 计算是串行的：必须先算 $h_1$ 才能算 $h_2$