44、机器学习与数据挖掘算法设计：深度神经网络与概念学习解析

机器学习与数据挖掘算法设计：深度神经网络与概念学习解析

1. 深度神经网络泛化性的新质疑

在机器学习领域，深度神经网络的成功令人瞩目，但我们对其成功原因的理解却存在明显不足。监督学习通常是通过寻找能优化经验风险的假设函数来实现的，这里的经验风险指的是在训练集上使用某个假设的成本。要使经验风险最小化原则合理有效，就必须对学习者考虑的假设空间 (H) 加以约束。约束越严格，经验风险与实际风险之间的联系就越紧密，也就越能保证优化经验风险的假设在实际风险方面也是一个好的假设。

衡量假设空间约束或容量的一种方法是看能否在 (H) 中找到一个能拟合任何训练集的假设。如果对于任意输入和输出的训练集，都能找到经验风险低甚至为零的假设，那么所测量的经验风险与实际风险之间就没有必然联系。

而深度神经网络恰恰就是这种情况。多项研究表明，那些在图像识别中成功应用的典型深度神经网络，确实可以被训练到在任何训练集上的经验风险几乎为零。具体来说，这些神经网络能够完美学习像素和输出随机设定的图像，在拟合任何训练集方面似乎没有限制。按照统计学习理论的普遍观点，它们应该会严重过拟合任何训练集。但为什么它们在“自然”图像上却如此成功呢？

自这一发现以来，许多论文仓促发表，但目前的解释似乎都只是部分性的。有观察指出，死记硬背一组“随机”数据和学习一组“合理”数据的学习方式是不同的。还需要进一步的研究，有望在理解成功归纳的原因方面取得新进展。

2. 概念学习：构建搜索空间

概念学习在人工智能领域有着深厚的根基，当时知识被认为是解决许多人工智能问题的关键。其理念是学习由内涵定义的概念，从而得到领域专家易于理解的有意义模型。因此，逻辑（命题逻辑或一阶逻辑）成为最