系列(二)中,对于SMO算法中有一个重要的代码:计算样本的预测类别。如下:
fXi = float(multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[i,:].T)) + b # 第i样本的预测类别
我们知道原始的预测类别计算公式是用决策面的参数w和b表示的,那么为什么这里的貌似不一样呢?
原始的预测类别计算公式为:
其中w可以表示为:
然后分类函数可以转化为:
关于这个的解释,july博客上说的比较清晰:
这里的形式的有趣之处在于,对于新点 x的预测,只需要计算它与训练数据点的内积即可(<.>表示向量内积),这一点至关重要,是之后使用 Kernel 进行非线性推广的基本前提。
这样子的表示形式和上面代码就一致了。
这儿还有一个现象可以分析出来:哪些是支持向量。
答:alpha不等于0的为支持向量。
所谓 Supporting Vector 也在这里显示出来——事实上,所有非Supporting Vector