第六章 神经网络
6.1 间隔与支持向量
如上图所示,间隔与支持向量解释为:
支持向量:距离超平面最近的样本点
间隔:两个不同种类支持向量到超平面的距离之和
支持向量机(SVM)就是要寻找具有最大间隔的超平面
划分超平面可通过如下线性方程来描述:
ω T x + b = 0 \omega ^ Tx + b = 0 ωTx+b=0
间隔可表示为:
γ = 2 ∥ ω ∥ \gamma = \frac{2}{\left \| \omega \right \| } γ=∥ω∥2
SVM的基本型:
max w , b 2 ∥ ω ∥ s.t. y i ( ω T x i + b ) ≥ 1 , i = 1 , 2 , … m . \max _{w,b} \frac{2}{\left \| \omega \right \|} \\ \text{ s.t. } y_{i}(\omega^Tx_{i}+b)\ge 1,i=1,2,\dots m. w,bmax∥ω∥2 s.t. yi(ωTxi+b)≥1,i=1,2,…m.
等价于:
min w , b 1 2 ∥ ω ∥ 2 s.t. y i ( ω T x i + b ) ≥ 1 , i = 1 , 2 , … m . \min _{w,b} \frac{1}{2} \left \| \omega \right \| ^2 \\ \text{ s.t. } y_{i}(\omega^Tx_{i}+b)\ge 1,i=1,2,\dots m. w,bmin21∥ω∥2 s.t.