Stanford机器学习---第十讲. 支持向量机SVM--Support Vector Machine

============Optimization Objective===============

1.从logistic regression推演而来

2.粉红色的线为SVM的话费函数（COST）曲线

.

3.对SVM的COST FUNCTION的形式化定义

4.进一步解释该函数

5.进一步再解释

=================Large Margin Classifier===============

1.注意这个SVM和LOGISTIC REGRESSION 不同

2.当C很大时，求解该方程组，可得决策曲线？

3.SVM是黑线

4.C大时，是黑线

==============数学角度解析为什么SVM 能形成 Large Margin Classifier==========

1.向量内积与映射

2.SVM的目标优化函数（C很大时候，就只剩下最后的项）

3.详细解释了为何MARGIN越大，目标函数就可以越小

4.小题目

分割线为X=0

这时所有数据集中的数据到θ上的投影最小值为2，换言之，想满足

对正样本p·||θ||>=1，

对负样本p·||θ||<=-1，

只需要

对正样本2·||θ||>=1，

对负样本（-2）·||θ||<=-1，

因此需要||θ||>=1/2，本着令cost function最小的原则，我们可知||θ||=1/2.

=============SVM Kernel 1 —— Gaussian Kernel=========

1.有没有更好的特征来代替多项式？

2.使用X与L之间的相似度作为新的特征。其函数为高斯函数，即高斯核。

3.X与L越像，则新的特征Fi越接近1，反之越接近0

4.X与L接近情况的值变化

5.有了L,则F可计算。则结合θ值可进行分类。

=============SVM 中 Gaussian Kernel 的使用========

1.L的选择接近X?

2.重新定义COST函数？

3.参数调整

=============SVM 的 使用与选择==================

1.线性核与高斯核

2.注意FEATURE SCALING

3.多种核函数--满足MERCER理论

4.CROSS VALIDATION的结果最重要

5.多分类问题

6.SVM与Logistic regression的选择