[李宏毅-机器学习]支持向量机 Support vector machine

在逻辑回归中，loss function的选择

 

hinge loss

>1的数据，不是support vector，其他的是support vector

 

linear SVM

其中1就是间隔，为软间隔

为什么w是数据的线性组合？

从梯度下降的角度来看，当w初始化为0的时候，就相当于x的线性组合

只是当前维度空间的分类结果可能不理想

因此可以考虑把x投影到一个高维空间上

因此x和z都投影到高维平面，然后再计算x和z之间的关系，也就是两个高维向量的点乘

这样分两步的操作计算量太大，因此引入了kernal来减少计算量

x和z的点乘的平方得到的结果，就是把x和z投影到某一个高维空间再做点乘的结果