4、机器学习中的高级学习类型与监督学习解析

机器学习中的高级学习类型与监督学习解析

1. 高级学习类型

1.1 局部学习与实例学习

在机器学习中，全局学习是传统的学习类型，它使用所有训练示例来训练机器学习算法。与之相对的是实例学习和局部学习。实例学习会参考所有训练示例来对新输入进行泛化；而局部学习则仅使用与新输入相关的部分训练示例来训练算法。不过，在局部学习中，如何确定训练示例与新输入的相关性是一个关键问题。

1.2 基于核的学习

基于核的学习是一种高级学习类型，其核心是将核函数定义为数据项之间的相似度。该学习类型的主要思想是通过将原始空间中的输入向量映射到另一个空间，来提高类之间的可分离性。

以下是其具体过程：
- 特征映射 ：在原始空间中，类之间的重叠是常见情况。将输入向量映射到另一个空间可以增加避免重叠和提高可分离性的机会。原始输入向量用 $\mathbf{x}$ 表示，映射后的向量用 $\Phi(\mathbf{x})$ 表示。
- 核函数计算 ：对于两个向量 $\mathbf{x}_1$ 和 $\mathbf{x}_2$，它们映射后的向量为 $\Phi(\mathbf{x}_1)$ 和 $\Phi(\mathbf{x}_2)$，其核函数定义为：
[K(\mathbf{x}_1, \mathbf{x}_2) = \Phi(\mathbf{x}_1) \cdot \Phi(\mathbf{x}_2)]
核函数的基础是，任意维度中两个向量的内积始终是一个标量值。通过核函数可以计算映射后向量的内积，而无需单独对输入向量进行映射。在支持向量机（SVM）中，核函数