3、深度学习在自然语言处理领域的潜力与前景

深度学习在自然语言处理领域的潜力与前景

1. 深度学习概述

深度学习模型除了具有可扩展性外，还能够从原始数据中自动提取特征，即特征学习。Yoshua Bengio认为深度学习算法试图挖掘输入分布中的未知结构，以发现良好的表示，通常是多层次的，高层特征由低层特征定义。在2016年出版的《Deep Learning》一书中，深度学习被定义为通过构建复杂概念来学习复杂概念，其模型架构具有深度，概念层次图有很多层。

深度学习模型的典型例子包括多层感知器网络（MLP）、卷积神经网络（CNN）和长短期记忆循环神经网络（LSTM）。这些模型可以使用反向传播算法进行训练，现代最先进的深度学习主要关注训练深度（多层）神经网络模型。

1.1 不同专家对深度学习的定义

• Peter Norvig ：深度学习是一种学习方式，其形成的表示具有多个抽象层次，而不是直接的输入到输出。
• Yann LeCun ：深度学习是学习分层表示，是构建目标识别系统的可扩展方法，例如卷积神经网络（CNN）在图像目标识别中取得了巨大成功。
• Jurgen Schmidhuber ：长短期记忆网络（LSTM）是另一种流行的算法，适用于学习序列数据。他还提到了深度学习与浅层学习的区别，并定义问题深度大于10需要非常深度的学习。
• Yann LeCun、Yoshua Bengio和Geoffrey Hinton ：深度学习允许由多个处理层组成的计算模型学习具有多个抽象层次的数据表示