33、机器学习中的变换不变性与虚拟支持向量方法

机器学习中的变换不变性与虚拟支持向量方法

在机器学习的诸多应用场景中，输入的某些变换往往不会改变函数的值，这就是所谓的变换不变性。利用这种先验知识，能够有效提升学习模型的性能。下面将详细介绍几种利用变换不变性的方法，以及虚拟支持向量（Virtual Support Vector，VSV）方法的具体应用和实验结果。

1. 利用变换不变性的方法

在学习过程中，至少有三种不同的方法可以利用输入变换不变性的知识：
- 生成虚拟示例 ：通过对训练示例进行相应的变换，生成人工训练示例，即“虚拟示例”。期望学习机器在足够的时间内，能从这些人工扩充的训练数据中自动学习到不变性。
- 修改学习算法 ：通常使用修改后的误差函数，迫使学习机器构建具有所需不变性的函数。
- 改变数据表示 ：将数据映射到更合适的空间，或者使用修改后的距离度量来改变数据的表示，从而实现不变性。

Simard等人比较了前两种技术，发现对于学习具有三个平稳段且函数值局部不变的函数这一问题，在人工扩充的数据集上进行训练的速度明显较慢，这是由于人工数据中的相关性以及训练集大小的增加。在实际应用中，训练集大小的增加会变得更加重要。不过，生成虚拟示例的方法具有易于在各种学习机器和对称性上实现的优点。而对于离散对称性，基于导数的方法可能不适用，因此需要一种兼具虚拟示例方法优点且计算成本较低的中间方法。

2. 虚拟支持向量方法

支持向量集包含了解决给定分类任务所需的所有信息。基于这一发现，我们可以考虑仅从支持向量生成虚拟示例。具体实验步骤如下：