6、深度学习表征与多语言信息访问的前沿探索

深度学习表征与多语言信息访问的前沿探索

1. 深度学习背景

深度学习是机器学习研究领域的新兴方法。近年来，深度学习算法推动机器学习系统向发现多层次表征发展，在计算机视觉和自然语言处理等传统人工智能应用中取得了重要的实证成果。许多科技公司，如谷歌、微软、苹果、IBM和百度，都在深度学习领域进行了投资，其产品广泛应用于语音识别、对象识别、图像和音乐信息检索以及计算广告等领域。

深度学习之所以重要，是因为许多机器学习方法的性能严重依赖于数据表征（或特征）的选择。传统的机器学习算法往往需要人工设计预处理流程来提取有效的特征，这一过程不仅劳动密集，还凸显了传统算法在从数据中提取和组织判别信息方面的不足。而深度学习算法能够自动发现多层次的表征，高层特征可代表更抽象的概念，有望减少对人工特征工程的依赖，推动人工智能的发展。

此外，无监督表征学习算法在迁移学习挑战中也取得了显著成功，如在2011年的两次迁移学习挑战中，无监督层预训练和无监督表征学习分别赢得了比赛。

2. 深度学习算法概述

2.1 深度监督网络、卷积网络和Dropout

在2006年之前，训练深度监督神经网络被认为是非常困难的。然而，随着研究的进展，发现通过适当的初始化可以训练深度监督网络。同时，使用整流非线性（如max(0, x)）代替S型非线性能够取得更好的效果，尤其在有大量标记数据的情况下，深度监督网络在语音识别和对象识别等任务中取得了突破性进展，将以往的错误率降低了30% - 50%。

卷积网络在深度学习应用中也起到了关键作用，它通过卷积层和池化层的交替，使得隐藏层单元与输入的特定窗口相关联，并共享参数，从而实现局部空间不变性。而Dro