80、核方法：原理、应用与类型解析

核方法：原理、应用与类型解析

1. 传统参数模型回顾

在回归和分类问题中，我们常常会使用线性参数模型。在这类模型里，从输入 $x$ 到输出 $y$ 的映射 $y(x, w)$ 形式由自适应参数向量 $w$ 决定。在学习阶段，会利用一组训练数据来获取参数向量的点估计，或者确定该向量的后验分布。训练完成后，训练数据就会被丢弃，对新输入的预测完全基于学习到的参数向量 $w$。这种方法同样适用于非线性参数模型，例如神经网络。

2. 基于记忆的方法

然而，存在一类模式识别技术，在预测阶段会保留训练数据点或其一部分并加以利用。以下是一些典型例子：
- Parzen 概率密度模型 ：该模型由一组“核”函数的线性组合构成，每个核函数都以一个训练数据点为中心。
- 最近邻分类器 ：这是一种简单的分类技术，它会为每个新的测试向量分配与训练集中最接近示例相同的标签。

这些基于记忆的方法通常需要定义一个度量，用于衡量输入空间中任意两个向量的相似度。它们的特点是训练速度快，但对测试数据点进行预测时速度较慢。

2.1 基于记忆方法的特点

特点	描述
训练速度	通常较快，因为不需要复杂的参数估计过程
预测速度	较慢，因为每次预测都需要与训练集中的所有数据点进行比较