循环神经网络基础篇-优快云博客

循环神经网络（RNN）基础篇：从原理到简单实现

什么是循环神经网络？

循环神经网络（Recurrent Neural Network, RNN）是专门用于处理序列数据的神经网络架构。与传统的前馈神经网络不同，RNN通过引入"记忆"机制，能够捕捉数据中的时序关系。常见应用场景包括：

文本生成
机器翻译
语音识别
时间序列预测

RNN核心结构解析

RNN的核心特点在于其循环连接结构，每个时间步的计算公式为：

$h_t = \tanh(W_{xh}x_t + W_{hh}h_{t-1} + b_h)$

其中：

$h_t$ ：当前时刻的隐藏状态
$x_t$ ：当前输入
$W$ ：权重矩阵
$b$ ：偏置项

前向传播过程

输入序列按时间步展开
每个时间步接收当前输入和上一时刻的隐藏状态
通过激活函数计算当前隐藏状态
最终输出层基于最后一个隐藏状态生成预测结果

反向传播（BPTT）

RNN采用随时间反向传播算法（Backpropagation Through Time, BPTT），将整个序列视为展开的前馈网络进行梯度计算。

代码实现（PyTorch版）

import torch
import torch.nn as nn

# 定义超参数
input_size = 4   # 输入特征维度
hidden_size = 8  # 隐藏层维度
seq_length = 5   # 序列长度

# 创建RNN单元
rnn_cell = nn.RNNCell(input_size=input_size, hidden_size=hidden_size)

# 初始化隐藏状态
hidden = torch.zeros(1, hidden_size)

# 模拟输入序列（seq_length, input_size）
inputs = [torch.randn(1, input_size) for _ in range(seq_length)]

# 前向传播过程
for i in range(seq_length):
    hidden = rnn_cell(inputs[i], hidden)
    print(f"Time step {i}: hidden state size {hidden.size()}")

# 最终输出
output = hidden
print("Final output shape:", output.shape)

RNN的优缺点

✅ 优势：

擅长处理序列数据
可以处理变长输入
参数共享机制

❌ 局限性：

长期依赖问题（梯度消失/爆炸）
计算效率较低
难以并行化处理

应用场景示例

领域	应用案例
自然语言处理	文本自动生成、情感分析
金融预测	股票价格趋势预测
生物信息学	DNA序列分析
物联网	传感器数据异常检测