深度学习——RNN和LSTM

最新推荐文章于 2024-10-23 19:17:33 发布

原创

最新推荐文章于 2024-10-23 19:17:33 发布 · 1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习

本文详细介绍了RNN（循环神经网络）的工作原理，包括RNN与传统NN的区别、结构、工作流程和前后向传播。接着，讨论了LSTM（长短期记忆网络）如何解决RNN中的梯度消失问题，以及LSTM单元的计算过程和网络连接。LSTM现已成为RNN的标准模型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

学习台湾大学李宏毅教授的课程做的相关笔记，课程链接

一、RNN（循环神经网络）

Recurrent Neural Networks（RNN）用于处理序列模型的问题，是一种对序列数据建模的神经网络。

1.RNN与一般NN的不同

传统NN每个样本输入、输出之间相互独立，不能处理很多情况。比如预测句子的下一个单词是什么，需要用到之前的信息。

这里写图片描述

上图是一个NN识别两个不同句子中相同单词的含义的例子。可以看到本身两个不同意思的句子中相同的单词是有不一样的意思的，第一个句子中的Taipei代表目的地，第二个句子中的Taipei代表出发地。原因是他们之前的信息不一样，一个是arrive，一个是leave。但是NN不能分辨这个差别，会将两个单词分为同一类。所以神经网络需要记忆来存储之前的信息。

用RNN处理相同的信息：