数据之美

好了，现在开始写支持向量机系列，希望能坚持下去。仅供参考，请勿转载，因为随时都可能会修改。 第一部分   引子 1. 支持向量机的目的是什么？对于用于分类的支持向量机来说，给定一个包含正例和反例（正样本点和负样本点）的样本集合，支持向量机的目的是寻找一个超平面来对样本进行分割，把样本中的正例和反例用超平面分开，但是不是简单地分看，其原则是使正例和反例之间的间隔最大。超平

对支持向量机的求解都是将上节说的原问题转化为对偶问题进行求解的，这些内容都是最优化课程中的内容。 回忆上节的内容，我们的目标是寻找函数在若干约束条件下的最小值。在上节的原问题中，约束条件是包含不等式的，本节先考虑简单的问题，即考虑只包含等式约束的最优化问题：                               （1）其中f(x)被称作目标函数，而下面是一系列的等式约束。回想

回忆上一节，对如下的原问题：                                   （1）我们定义了拉格朗日对偶函数：然后我们证明了：，其中p*是原问题的最优值。也就是说我们找到了原问题最优值的一个下界。既然我们找到了一个下界，显然我们要找到它最好的下界。什么是最好的下界的？显然就是所有下界当中最大的那一个。所以我们要把最大化，当然我们还要记得我们需要限制。我们把

我们首先要引入包含不等式约束的优化问题，标准形式如下：                                  （1）f(x)是目标函数，而后面分别是一系列的不等式约束和等式约束。 我们首先明确几个概念：可行点（可行解）：所有满足约束的点x。可行域：所有可行点组成的点集，记为R。正式写出来就是：最优点（最优解）：满足约束（也就是处于可行域之内）并且使目标函