深度学习核心技术精讲100篇（四十二）-Seq2seq框架下的文本生成

文宇肃然

于 2021-05-29 08:17:27 发布

阅读量1.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：人工智能AI实战系列代码全解析深度学习100例全系列详细教程文章标签：神经网络机器学习深度学习自然语言处理大数据

本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/108388839

本文深入探讨了Seq2seq框架在文本生成任务中的应用，包括Encoder-Decoder结构、注意力机制、Pointer Networks和Copy Networks，以及如何解决OOV问题。通过引入Copy机制、Pointer-Generator Networks和融合知识特征，模型能更好地生成包含关键信息的文本。此外，还讨论了卷积结构和Transformer时代的模型进展，如MASS预训练模型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

文本生成，旨在利用NLP技术，根据给定信息产生特定目标的文本序列，应用场景众多，并可以通过调整语料让相似的模型框架适应不同应用场景。本文重点围绕Encoder-Decoder结构，列举一些以文本摘要生成或QA系统文本生成为实验场景的技术进展。

Seq2seq框架

2014年NLP界有两份重要的成果，Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation和Sequence to Sequence Learning with Neural Networks。虽然在Decoder的输入上有差别，但结构上两者都将Encoder-Decoder结构应用在翻译场景中，并由此开始，seq2seq框架在机器翻译，对话生成等领域中占据重要位置。另外，前者首次提出GRU结构，后者采用Beam Search改善预测结果，这些都成为如今seq2seq框架的基础技术元素。

随后，Bahdanau在Neural Machine Translation by Jointly Learning to Align and Translate中提出了融合attention和seq2seq结构的NMT模型结构，至此，由Encoder-Attention-Decoder组成的seq2seq框架正式形成。

了解本专栏