jikuibu

（书接上文） 寻找最大间隔： 经过了第一部分的概述，接下来要寻找数据集的最佳分隔超平面。我们已经知道，高维样本空间中的超平面方程为： 其中为法向量，决定了超平面的方向；b 为位移项，决定了超平面与原点之间的距离。显然，分隔超平面可被法向量 w和位移 b 确定，记为。样本空间中任意点x到超平面的距离为： 如果超平面能正确的对样本点分类，即：若，则有；若，则有。 假设： ...

(书接上文） 原目标函数的对偶问题 前面我们已经知道，只要求解了（公式4）便能获得我们想要的最佳的分隔超平面。考虑到（公式4）不易直接求解，我们想采用拉格朗日乘子法来对其进行变换，进而获得原问题的对偶问题。只要对偶问题求解了，原问题也会得到最优解。 根据拉格朗日对偶性，原始问题的对偶问题是个极大极小问题，即： 为了求得对偶问题的解，需要先求对的极小值，再求对的极大值。 1)...

（书接上文） 对偶问题的求解-SMO算法 前文已经推导出了原问题的对偶问题，那么如何求解它呢？比较好的方法就是利用SMO算法。 SMO 的基本思路是先固定向之外的所有参数，然后求上的极值。由于存在约束条件，若固定以外的其它变量，则可由其它变量导出。于是，SMO每次选择两个变量和，并固定其它参数。这样，在参数初始化后，SMO不断执行以下两个步骤直到收敛： 1）选取一对需要更新的变量和； 2...