25、机器学习中的核机器与深度架构解析

机器学习中的核机器与深度架构解析

在机器学习领域，核机器和深度架构是两个极为重要的概念。下面将详细介绍核机器的相关特性以及深度架构的一些关键问题。

核机器的崛起与特性

核机器在20世纪90年代中期强势崛起，成为20世纪80年代中期兴起的连接主义浪潮的替代方案。其持续发展的原因在于具有更坚实的数学基础，学习效率高，并且由于正则化框架的存在，具备良好的泛化能力，这不仅引起了机器学习界的关注，也在连接主义模型被广泛应用的相关领域受到重视。

特征丰富化

早在20世纪60年代，就有人提出通过多项式预处理来丰富特征的想法。而布尔特征丰富化的对应方案在20世纪60年代末由明斯基（Minsky）和帕佩特（Papert）在《感知机》一书中隐含提出。特征丰富化的提出是因为线性可分假设存在局限性，但在实际学习任务中，其具体影响有时会被忽视，因为有些应用中的学习任务实际上是线性或接近线性可分的。托马斯·科弗（Thomas Cover）在其博士论文中提出了确定线性分离概率的分析方法。

在特征提取的不变性方面，多年来一直受到关注。在语音识别中，分类器直接处理输入信号存在困难，而短时傅里叶变换和线性预测滤波技术能创建具有一定不变性的特征序列。在计算机视觉中，不变性问题更具挑战性，特别是在平移、旋转和尺度不变性方面。洛维（Lowe）的尺度不变特征变换（SIFT）是提取目标识别有用特征的有效方法，基于群论的更一般的不变性观点也有相关研究。

容量、VC维与泛化

为了评估对新示例的泛化能力，VC维是衡量容量的有效概念。假设给定一组示例和一个函数类中的函数$f$，它以特定方式分离模式并给出相应标签。对于$\ell$个示例，有$2^{