9、机器学习数据模型探索：SVM与LVQ算法深入解析

机器学习数据模型探索：SVM与LVQ算法深入解析

1. SVM 模型初体验与问题发现

在处理高维数据集时，我们首先遇到了一个具有 30 个属性的数据集。查看数据集的前五个记录，发现使用线性超平面来分离这些数据点是极为困难的。从预测结果来看，加权平均仅为 0.38，这意味着只有 38% 的测试数据被正确预测，这样的结果实在令人沮丧。

那如何改善这个结果呢？这就引出了 SVM 中的核技巧。

2. SVM 核技巧解析

核技巧并非是一种“不正当”的手段，它是专门为处理高维数据集而开发的。当数据点在有限空间中无法线性分离时，我们可以将其映射到更高维的空间，然后利用核技巧构建定制的非线性超平面。

每个 SVM 核都有一个非线性核函数，这个函数有助于构建高维特征空间。目前已经开发了许多核函数，并且还有更多正在研究中，这是一个非常活跃的研究领域。

下面介绍几种常见的核函数：
- 多项式核（Polynomial kernel） ：实现方程为 (K(x_i, x_j) = (x_i * x_j + 1)^p)，其中 (p) 是可调参数。计算 (K) 只需要在原始点积的基础上进行一次加法和一次幂运算。
- 径向基函数（Radial basis function, rbf） ：实现方程为 (K(x_i, x_j) = e^{-\frac{||x_i - x_j||^2}{2\sigma^2}})，也被称为高斯函数。
- Sigmoid 函数 ：它也被用作其他数据模型中的激活函数。