8、支持向量机：从二分类到多分类的深入解析

支持向量机：从二分类到多分类的深入解析

二分类支持向量机的线性变换不变性

在二分类支持向量机中，欧几里得距离常用于计算间隔，它具有旋转和平移不变性，但不具有尺度不变性。因此，使用线性核的支持向量机也是旋转和平移不变，但不具有尺度不变性。为了研究尺度变换对支持向量机的影响，我们考虑如下变换：
[z = s A x + c]
其中 (s (> 0)) 是缩放因子，(A) 是正交矩阵且满足 (A^T A = I)，(c) 是常数向量。

不同核函数在该变换下的性质如下：
- RBF 核 ：
[H(z, z’) = \exp(-\gamma’ |s A x + c - s A x’ - c|^2) = \exp(-\gamma’ s^2 |x - x’|^2)]
当 (\gamma’s^2 = \gamma) 时，(H(z, z’) = H(x, x’))，即训练数据集和经过变换后的数据集的最优解相同。这表明 RBF 核具有平移和旋转不变性。
- 神经网络核 ：
[H(z, z’) = \frac{1}{1 + \exp(\nu’ (s A x + c)^T (s A x’ + c) - a)}]
当 (c = 0) 时，(H(z, z’) = \frac{1}{1 + \exp(\nu’ s^2 x^T x’ - a)})。若 (\nu’s^2 = \nu)，则训练数据集和经过变换后的数据集的最优解相同，说明神经网络核具有旋转不变性。
- 线性核 ：
[H(z, z’) = (s A x +