8、循环神经网络（RNNs）与长短期记忆网络（LSTMs）：文本处理的利器

循环神经网络（RNNs）与长短期记忆网络（LSTMs）：文本处理的利器

1. 循环神经网络（RNN）简介

循环神经网络（RNN）的核心在于对标记（tokens）的循环利用。在自然语言处理（NLP）中，RNN通过循环机制记住之前读取的标记，并利用这些信息来预测目标变量。与卷积神经网络（CNN）只能记住有限窗口内的标记不同，RNN可以记住它所读取的所有标记，这使得它在处理长文本时具有显著优势。

不过，递归（recursion）在使用不当时可能会带来危险。正确且安全地使用递归的关键在于，每次循环输入时都要确保算法减少其工作量，即从输入中删除某些内容。在NLP的RNN中，这通常表现为在将输入反馈回网络之前，从文本字符串中移除一个标记。

RNN具有神经形态，它模仿了大脑处理信息的方式。当我们阅读文本时，大脑会循环利用对先前单词的了解，不断更新对后续内容的预测，直到理解整个句子或段落。同样，RNN也可以用于预测NLP管道应该输出的单词，因此它不仅适用于读取文本数据，还可用于标记和生成文本。

2. RNN的应用场景

2.1 突破文本长度限制

之前学习的深度学习架构在处理短文本（通常是单个句子）方面表现出色，但RNN有望突破文本长度的限制，使NLP管道能够处理无限长的文本序列。它不仅可以处理连续的文本，还能根据需要生成任意长度的文本。

2.2 多样化的应用类型

RNN有以下几种常见的应用类型：
| 类型 | 描述 | 应用 |
| — | — | — |
| 一对多 | 一个输入张量用于生成一系列输出张量 | 生成聊天消息、回答问题、描述图像 |