吴恩达机器学习（支持向量机）

（1）优化目标

支持向量机在学习复杂的非线性方程时能够提供一种更为清晰个更加强大的方式。

先回顾Logistic逻辑回归的相关概念，看如何进行改动可以得到支持向量机。

Logistic回归的假设函数，以及对应sigmoid激活函数图像如下：

Logistic回归中的代价函数为：

针对某一项的Cost为：

可以看到下图中SVM中对Logistic回归代价函数的改变：
Logistic回归总体优化目标到支持向量机的总体优化目标转换，如下图所示：
于是得到支持向量机的总体优化目标，最小化下面的函数，就得到了SVM学习得到的参数。

与逻辑回归不同的是，支持向量机并不会输出概率，相对的得到的是通过优化这个代价函数得到一个参数θ，支持向量机所做的是他直接进行一个预测，预测y是等于1还是等于0。学习得到参数值θ后，这就是支持向量机的假设函数的形式：

（2）直观上对大间隔的理解

有时候会把支持向量机叫做大间距分类器，本节中将会介绍这是什么意思，并给出直观的图像便于理解SVM假设。


对于下面的这个例子，有不止一条直线可以把正负样本划分开，但是相比来说，黑色的分界线要好很多，它是更稳健的决策边界。