91、稀疏核机器：支持向量机与逻辑回归的深入解析

稀疏核机器：支持向量机与逻辑回归的深入解析

1. 特征空间的有效维度

在处理特征空间时，我们常常会认为其维度会随着特征数量的增加而无限制增长。但实际上，特征值之间存在约束条件，这些条件限制了特征空间的有效维度。

以一个简单的二次多项式核为例：
[
\begin{align }
k(x, z) &= (1 + x^Tz)^2 = (1 + x_1z_1 + x_2z_2)^2\
&= 1 + 2x_1z_1 + 2x_2z_2 + x_1^2z_1^2 + 2x_1z_1x_2z_2 + x_2^2z_2^2\
&= (1, \sqrt{2}x_1, \sqrt{2}x_2, x_1^2, \sqrt{2}x_1x_2, x_2^2)(1, \sqrt{2}z_1, \sqrt{2}z_2, z_1^2, \sqrt{2}z_1z_2, z_2^2)^T\
&= \varphi(x)^T\varphi(z)
\end{align }
]

这个核函数表示了一个六维特征空间中的内积，其中从输入空间到特征空间的映射由向量函数 (\varphi(x)) 描述。然而，这些不同特征的加权系数被约束为特定形式。因此，原始二维空间 (x) 中的任何一组点都将被约束在嵌入六维特征空间的二维非线性流形上。

1.1 特征空间维度的约束分析

• 约束的存在 ：特征值之间的约束使得特征空间的有效维度低于其表面维度。在上述二次多项式核的例子中，尽管特征空间是六维的，但由于系数的约束，数据