深度学习系列（6）：循环神经网络（RNN）详解

最新推荐文章于 2025-12-26 22:25:18 发布

原创最新推荐文章于 2025-12-26 22:25:18 发布 · 459 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #rnn #人工智能

深度学习系列专栏收录该内容

14 篇文章

订阅专栏

深度学习系列（6）：循环神经网络（RNN）详解

在上一期中，我们介绍了卷积神经网络（CNN）在图像处理领域的应用。然而，CNN 主要用于处理固定大小的输入数据，而对于序列数据（如文本、语音和时间序列），循环神经网络（Recurrent Neural Network, RNN）更为适用。本期博客将介绍 RNN 的基本概念、结构以及 PyTorch 实现。

1. RNN 的基本概念

RNN 的核心思想是利用隐藏状态（Hidden State）存储过去的信息，使其可以处理时间序列数据。与普通神经网络不同，RNN 具有循环连接，使得前面的输出可以影响后续的输入。

RNN 适用于：

语音识别
机器翻译
股票预测
时间序列分析

2. RNN 的结构

RNN 由多个时间步（Time Step）组成，每个时间步都会接收当前输入和前一个隐藏状态，并计算新的隐藏状态和输出。其基本计算流程如下：

接收输入数据
结合上一时间步的隐藏状态进行计算
生成当前时间步的输出和新的隐藏状态
继续传递到下一个时间步

3. RNN 的常见问题

长短期依赖问题

RNN 由于循环结构的特性，理论上可以记住长期依赖的信息，但在实际训练中，容易遇到梯度消失或梯度爆炸问题，导致远距离信息难以传递。

LSTM 和 GRU

为了解决长短期依赖问题，LSTM（Long Short-Term Memory）和 GRU（Gated Recurrent Unit）应运而生。它们通过门控机制控制信息流动，提高了对长序列数据的记忆能力。

4. RNN 的 PyTorch 实现

下面是一个简单的 RNN 模型，它接受序列输入，并输出预测结果：

import torch
import torch.nn as nn

# 定义 RNN 模型
class SimpleRNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(SimpleRNN, self).__init__()
        self.rnn = nn.RNN(input_size, hidden_size, batch_first=True)
        self.fc = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        out, _ = self.rnn(x)
        out = self.fc(out[:, -1, :])  # 取最后一个时间步的输出
        return out

# 创建模型
model = SimpleRNN(input_size=10, hidden_size=20, output_size=1)
print(model)