5、深度学习在自然语言处理中的应用与文本嵌入技术

深度学习在自然语言处理中的应用与文本嵌入技术

1. 深度学习与自然语言处理的新范式

从表面上看，深度学习似乎是一种经过改进且性能卓越的机器学习类型。当应用于语言处理时，深度学习带来了两个新颖且实用的元素：时间过滤和空间过滤。语言由按顺序排列的单词组成，从过去流向现在，空间和时间过滤的结合为自然语言处理（NLP）开辟了一系列全新且有趣的可能性。

我们在处理抽象表示，抽象中间层表示的空间处理难以想象，但它只是强调或弱化复杂数据表示部分的另一种方式。同样，时间维度使我们能够将历史数据纳入抽象过程，学会遗忘或保留这些复杂表示的某些部分。

我们展示了如何对单词的向量表示应用卷积操作，假设这些向量的并列存在某种空间结构。循环神经网络（RNN）和长短期记忆网络（LSTM）层将历史信息引入当前。我们可以将卷积神经网络（CNN）层应用于LSTM层的输出，实现对时间门控信息的空间过滤；反之，也可以将LSTM操作应用于CNN的输出。层的组合似乎是无限的。在图像领域，基于大量实验，文献中已经提出了一些层组合的最佳实践，我们能否为NLP提出类似的最佳实践呢？

语言不仅是顺序的，还是递归的。例如“John says that Mary says that Bill told Richard he was on his way.” 深度学习处理这些递归结构的能力是一个活跃的研究课题，可视为建立单词间长距离关系的方法之一。

在之前的学习中，我们了解了基本的深度学习架构，如多层感知器、空间（卷积）和时间（基于RNN和LSTM）过滤器。还学习了如何应用卷积神经网络、循环神经网络以及基于长短期记忆的网络，并学会了在Keras中进行编码。我们通过了从情感分析到字符预测等多个应用于