23、黑盒方法：神经网络与支持向量机解析

黑盒方法：神经网络与支持向量机解析

1. 支持向量机基础原理

在处理线性可分的数据时，我们希望找到两个超平面，使得一类数据点全部落在第一个超平面之上，另一类数据点全部落在第二个超平面之下。向量几何中，这两个平面之间的距离定义与向量 w 的欧几里得范数 ||w|| 相关，为了最大化这个距离，我们需要最小化 ||w|| ，这个任务通常可以转化为一组约束条件。

然而，实际情况中很多数据并非线性可分。对于这种情况，我们可以引入松弛变量，创建一个软间隔，允许一些点落在间隔的错误一侧。同时，会给违反约束条件的点应用一个成本值 C ，算法的目标也从寻找最大间隔转变为最小化总成本。调整成本参数 C 很关键，较大的 C 值会让优化过程更努力地实现 100% 分离，而较小的 C 值则更注重更宽的整体间隔，需要在两者之间找到平衡以构建能很好泛化到未来数据的模型。

2. 核技巧处理非线性空间

在许多实际应用中，变量之间的关系是非线性的。支持向量机可以通过核技巧将问题映射到更高维的空间，使原本非线性的关系在新空间中看起来是线性的。例如，在一个关于天气分类（晴天或雪天）与纬度和经度的例子中，加入海拔这个新维度后，数据变得线性可分。

非线性核的支持向量机通过向数据中添加额外维度来实现分离，本质上是构建新特征来表达测量特征之间的数学关系。不过，非线性核支持向量机也有优缺点，具体如下表所示：
| 优点 | 缺点 |
| — | — |