循环神经网络入门篇

原创已于 2025-02-26 20:49:14 修改 · 984 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#rnn #人工智能 #深度学习

于 2025-02-25 19:33:46 首次发布

循环神经网络系列专栏收录该内容

4 篇文章

订阅专栏

循环神经网络入门篇：打开时序数据处理的大门

一、为什么需要循环神经网络？

在传统的前馈神经网络中，数据从输入层流向输出层，这种单向传播机制在处理时序数据时会遇到根本性挑战：

无法记忆历史信息：前馈网络每次推理都是独立的，不能记住文本、语音等序列数据中的上下文关系
输入输出维度固定：难以处理可变长度的序列数据（如不同长度的句子）
参数爆炸：使用全连接网络处理长序列会导致参数数量激增

二、RNN的核心思想

循环神经网络通过引入记忆机制和参数共享解决了上述问题：

# RNN单元计算示意图
h_t = tanh(W_ih * x_t + b_ih + W_hh * h_{t-1} + b_hh)

2.1 时间展开结构

在这里插入图片描述

h_t：当前时刻的隐藏状态，承载历史信息
x_t：当前输入
参数共享：所有时间步共享同一组参数(W, b)

2.2 数学表达

$h_t = \sigma(W_{xh}x_t + W_{hh}h_{t-1} + b_h)$
$y_t = \sigma(W_{hy}h_t + b_y)$

三、常见RNN结构类型

类型	结构示意图	典型应用
一对一	![1-to-1]	图像分类
一对多	![1-to-N]	图像描述生成
多对一	![N-to-1]	情感分析
多对多	![N-to-N]	视频帧标注
Seq2Seq	![Seq2Seq]	机器翻译

四、PyTorch实战：字符级文本生成

import torch
import torch.nn as nn

class CharRNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super().__init__()
        self.rnn = nn.RNN(input_size, hidden_size, batch_first=True)
        self.fc = nn.Linear(hidden_size, output_size)
    
    def forward(self, x, hidden):
        out, hidden = self.rnn(x, hidden)
        out = self.fc(out)
        return out, hidden

# 超参数设置
input_size = 128  # ASCII字符集
hidden_size = 256
output_size = 128
seq_length = 100

# 初始化模型
model = CharRNN(input_size, hidden_size, output_size)
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

# 训练循环
for epoch in range(1000):
    hidden = torch.zeros(1, 1, hidden_size)
    # 这里需要添加实际的数据加载逻辑
    # output, hidden = model(input_seq, hidden)
    # loss = criterion(output, target)
    # optimizer.step()