《统计学习方法》(第七章)—— 支持向量机

统计学习方法-李航-第七章-支持向量机笔记 统计学习方法-李航-第七章-支持向量机笔记 首先回顾一下感知机。感知机的模型是线性分类模型,将两种类别标记为正负1,将新的样本输入线性函数,再将线性函数代入符号函数就可以得到输出作为判定结果。这里最重要的还是线性函数的选取,线性函数在特征空间中可能就是一个超平面,只要这个超平面能将正负样本完全分隔开来就是符合要求的超平面,这也就是感知机的策略。具体到损失函数,选择的不是误分类点的个数,而是误分类点到超平面的总距离,这样才连续可求导,方便后续优化。 感知机的算法是在策略的基础上选择的优化算法。 从模 阅读详情

线性可分支持向量机与硬间隔最大化

线性可分支持向量机

  • 定义:给定线性可分训练数据集,通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为
    w∗⋅x+b∗=0w^* \cdot x +b^*=0w∗⋅x+b∗=0
    以及相应的分类决策函数
    f(x)=sign(w∗⋅x+b∗)f(x)=sign(w^* \cdot x +b^*)f(x)=sign(w∗⋅x+b∗)
    称为线性可分支持向量机.

函数间隔和几何间隔

  • 函数间隔定义:对于给定的训练数据集T和超平面(w,b)(w,b)(w,b)定义超平面(w,b)(w,b)(w,b)关于样本点(xi,yi)(x_i,y_i)(xi​,yi​)的函数间隔为
    γ^i=yi(w⋅xi+b)\hat{\gamma}_i=y_i(w \cdot x_i+b)γ^​i​=yi​(w⋅xi​+b)
    定义超平面(w,b)(w,b)(w,b)关于训练数据集TTT的函数间隔为超平面(w,b)(w,b)(w,b)关于TTT中所有样本点(xi,yi)(x_i,y_i)(xi​,yi​)的函数间隔最小值
    γ^=min⁡i=1,...,Nγ^i\hat{\gamma}=\min\limits_{i=1,...,N}\hat{\gamma}_iγ^​=i=1,...,Nmin​γ^​i​
  • 几何间隔定义:对于给定的训练数据集TTT和超平面(w,b)(w,b)(w,b),定义超平面(w,b)(w,b)(w,b)关于样本点(xi,yi)(x_i,y_i)(xi​,yi​)的几何间隔为
    γi=yi(w∣∣w∣∣⋅xi+b∣∣w∣∣)\gamma_i=y_i(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||})γi​=yi​(∣∣w∣∣w​⋅xi​+∣∣w∣∣b​)
    定义超平面(w,b)(w,b)(w,b)关于训练数据集TTT的几何间隔为超平面(w,b)(w,b)(w,b)关于TTT中所有样本点(xi,yi)(x_i,y_i)(xi​,yi​)的几何间隔最小
    γ=min⁡i=1,...,Nγi{\gamma}=\min\limits_{i=1,...,N}{\gamma}_iγ=i=1,...,Nmin​γi​
    于是我们有
    γi=γi^∣∣w∣∣{\gamma}_i=\frac{\hat{\gamma_i}}{||w||}γi​=∣∣w∣∣γi​^​​
    γ=γ^∣∣w∣∣{\gamma}=\frac{\hat{\gamma}}{||w||}γ=∣∣w∣∣γ^​​

间隔最大化

最大间隔超平面为
                                      max⁡w,b γ\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \max\limits_{w,b} \ \gamma                                      w,bmax​ γ
                                      s.t.    yi(w∣∣w∣∣+b∣∣w∣∣)≥γ,i=1,2,...,N\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ s.t. \ \ \ \ y_i(\frac{w}{||w||}+\frac{b}{||w||})\ge \gamma, i=1,2,...,N                                      s.t.    yi​(∣∣w∣∣w​+∣∣w∣∣b​)≥γ,i=1,2,...,N
等价于
                                      max⁡w,b γ^∣∣w∣∣\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \max\limits_{w,b} \ \frac{\hat{\gamma}}{||w||}                                      w,bmax​ ∣∣w∣∣γ^​​
                                      s.t.    yi(w+b)≥γ^,i=1,2,...,N\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ s.t. \ \ \ \ y_i({w}+{b})\ge \hat{\gamma}, i=1,2,...,N                                      s.t.    yi​(w+b)≥γ^​,i=1,2,...,N
因为γ^\hat{\gamma}γ^​取值无所谓,我们取γ^=1\hat{\gamma}=1γ^​=1
则最终等价于
                                      min⁡w,b 12∣∣w∣∣2\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \min\limits_{w,b} \ \frac{1}{2}||w||^2                                      w,bmin​ 21​∣∣w∣∣2
                                      s.t.    yi(w+b)−1≥0,i=1,2,...,N\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ s.t. \ \ \ \ y_i({w}+{b})-1 \ge0, i=1,2,...,N                                      s.t.    yi​(w+b)−1≥0,i=1,2,...,N
这是一个凸优化问题

最终算法

输入:线性可分训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}其中xi∈Rn,yi∈{−1,+1},i=1,2,...,Nx_i \in R^n,y_i \in \{-1,+1\},i=1,2,...,Nxi​∈Rn,yi​∈{−1,+1},i=1,2,...,N
输出:最大间隔分离超平面和分类函数

(1)(1)(1)构造优化问题
                                     min⁡w,b 12∣∣w∣∣2\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \min\limits_{w,b} \ \frac{1}{2}||w||^2                                     w,bmin​ 21​∣∣w∣∣2
                                      s.t.    yi(w+b)−1≥0,i=1,2,...,N\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ s.t. \ \ \ \ y_i({w}+{b})-1 \ge0, i=1,2,...,N                                      s.t.    yi​(w+b)−1≥0,i=1,2,...,N
(2)(2)(2)得到分类超平面
w∗⋅x+b∗=0w^* \cdot x+b^*=0w∗⋅x+b∗=0
以及分类决策函数
f(x)=sign(w∗⋅x+b∗)f(x)=sign(w^* \cdot x+b^*)f(x)=sign(w∗⋅x+b∗)

  • 最大间隔分离超平面存在且唯一性证明:
    (1)(1)(1)存在性
    由于数据线性可分,必然存在可行解,又由于目标函数有下界,所以最优解必然存在,记(w∗,b∗)(w^*,b^*)(w∗,b∗)又因为数据中存在正负样本,所以w∗≠0w^* \ne 0w∗​=0,存在性得证
    (2)(2)(2)唯一性
    首先证明w∗w^*w∗唯一.假设有两个最优解(w1∗,b1∗)(w_1^*,b_1^*)(w1∗​,b1∗​)和(w2∗,b2∗)(w_2^*,b_2^*)(w2∗​,b2∗​)显然∣∣w1∗∣∣=∣∣w2∗∣∣=c||w_1^*||=||w_2^*||=c∣∣w1∗​∣∣=∣∣w2∗​∣∣=c
    令w=w1∗+w2∗2,b=b1∗+b2∗2w=\frac{w_1^*+w_2^*}{2},b=\frac{b_1^*+b_2^*}{2}w=2w1∗​+w2∗​​,b=2b1∗​+b2∗​​,则c≤∣∣w∣∣≤12∣∣w1∗∣∣+12∣∣w2∗∣∣=c,c\le||w||\le\frac{1}{2}||w_1^*||+\frac{1}{2}||w_2^*||=c,c≤∣∣w∣∣≤21​∣∣w1∗​∣∣+21​∣∣w2∗​∣∣=c,所以∣∣w∣∣=12∣∣w1∗∣∣+12∣∣w2∗∣∣||w||=\frac{1}{2}||w_1^*||+\frac{1}{2}||w_2^*||∣∣w∣∣=21​∣∣w1∗​∣∣+21​∣∣w2∗​∣∣
    从而∣∣w1∗∣∣=λ∣∣w2∗∣∣||w_1^*||=\lambda||w_2^*||∣∣w1∗​∣∣=λ∣∣w2∗​∣∣,∣λ∣=1|\lambda|=1∣λ∣=1如果λ=−1\lambda=-1λ=−1,则∣∣w∣∣=0||w||=0∣∣w∣∣=0矛盾,如果 λ=1\lambda=1λ=1,则∣∣w1∗∣∣=∣∣w2∗∣∣||w_1^*||=||w_2^*||∣∣w1∗​∣∣=∣∣w2∗​∣∣矛盾,所以w∗w^*w∗唯一
    再证b∗b^*b∗
    设x1‘,x2‘x_1^`,x_2^`x1‘​,x2‘​为集合{xi∣yi=+1}\{x_i|y_i=+1\}{xi​∣yi​=+1}中分别对应(w∗,b1∗)(w^*,b_1^*)(w∗,b1∗​)和(w∗,b2∗)(w^*,b_2^*)(w∗,b2∗​)成立的点
    设x1‘‘,x2‘‘x_1^{``},x_2^{``}x1‘‘​,x2‘‘​为集合{xi∣yi=−1}\{x_i|y_i=-1\}{xi​∣yi​=−1}中分别对应(w∗,b1∗)(w^*,b_1^*)(w∗,b1∗​)和(w∗,b2∗)(w^*,b_2^*)(w∗,b2∗​)成立的点
    则b1∗=−12(w∗⋅x1′+w∗⋅x1′′),b2∗=−12(w∗⋅x2′+w∗⋅x2′′)b_1^*=-\frac{1}{2}(w^* \cdot x_1^{'}+w^* \cdot x_1^{''}),b_2^*=-\frac{1}{2}(w^* \cdot x_2^{'}+w^* \cdot x_2^{''})b1∗​=−21​(w∗⋅x1′​+w∗⋅x1′′​),b2∗​=−21​(w∗⋅x2′​+w∗⋅x2′′​)
    b1∗−b2∗=−12[w∗⋅(x1′−x2′)+w∗⋅(x1′′−x2′′)]b_1^*-b_2^*=-\frac{1}{2}[w^*\cdot (x_1^{'}-x_2^{'})+w^*\cdot (x_1^{''}-x_2^{''})]b1∗​−b2∗​=−21​[w∗⋅(x1′​−x2′​)+w∗⋅(x1′′​−x2′′​)]
    又
    w∗⋅x2′+b1∗≥1=w∗⋅x1′+b1∗w^* \cdot x_2^{'}+b_1^* \ge 1=w^* \cdot x_1^{'}+b_1^*w∗⋅x2′​+b1∗​≥1=w∗⋅x1′​+b1∗​
    w∗⋅x1′+b1∗≥1=w∗⋅x2′+b2∗w^* \cdot x_1^{'}+b_1^* \ge 1=w^* \cdot x_2^{'}+b_2^*w∗⋅x1′​+b1∗​≥1=w∗⋅x2′​+b2∗​
    所以w∗⋅(x1′−x2′)=0w^* \cdot(x_1^{'}-x_2^{'})=0w∗⋅(x1′​−x2′​)=0,同理w∗⋅(x1′‘−x2′’)=0w^* \cdot(x_1^{'‘}-x_2^{'’})=0w∗⋅(x1′‘​−x2′’​)=0
    所以b1∗=b2∗b_1^*=b_2^*b1∗​=b2∗​成立.
  • 支持向量和间隔边界
    满足w⋅xi+b=yiw \cdot x_i+b=y_iw⋅xi​+b=yi​的点称为支持向量
    H1:w⋅xi+b=+1H_1:w \cdot x_i+b=+1H1​:w⋅xi​+b=+1
    H2:w⋅xi+b=−1H_2:w \cdot x_i+b=-1H2​:w⋅xi​+b=−1
    则H1和H2H_1和H_2H1​和H2​之间的宽度为2∣∣w∣∣\frac{2}{||w||}∣∣w∣∣2​为间隔边界

学习的对偶算法

对优化问题求解,首先定义拉格朗日函数
L(w,b,a)=12∣∣w∣∣2−∑i=1Naiyi(w⋅xi+b)+∑i=1Nai,L(w,b,a)=\frac{1}{2}||w||^2-\sum\limits_{i=1}^Na_iy_i(w \cdot x_i+b)+\sum\limits_{i=1}^Na_i,L(w,b,a)=21​∣∣w∣∣2−i=1∑N​ai​yi​(w⋅xi​+b)+i=1∑N​ai​,其中ai≥0,i=1,2,...,Na_i \ge0,i=1,2,...,Nai​≥0,i=1,2,...,N
定义a=(a1,a2,...,aN)Ta=(a_1,a_2,...,a_N)^Ta=(a1​,a2​,...,aN​)T
则原问题等价于
max⁡amin⁡w,bL(w,b,a)\max\limits_a\min\limits_{w,b}L(w,b,a)amax​w,bmin​L(w,b,a)
(1)(1)(1)求min⁡w,bL(w,b,a)\min\limits_{w,b}L(w,b,a)w,bmin​L(w,b,a)另w,bw,bw,b偏导数等于0
∇wL(w,b,a)=w−∑i=1Naiyixi=0\nabla_wL(w,b,a)=w-\sum\limits_{i=1}^Na_iy_ix_i=0∇w​L(w,b,a)=w−i=1∑N​ai​yi​xi​=0
∇bL(w,b,a)=−∑i=1Naiyi=0\nabla_bL(w,b,a)=-\sum\limits_{i=1}^Na_iy_i=0∇b​L(w,b,a)=−i=1∑N​ai​yi​=0
得
w=∑i=1Naiyixiw=\sum\limits_{i=1}^Na_iy_ix_iw=i=1∑N​ai​yi​xi​
∑i=1Naiyi=0\sum\limits_{i=1}^Na_iy_i=0i=1∑N​ai​yi​=0
代入得
L(w,b,a)=12∑i=1N∑j=1Naiajyiyj(xi⋅xj)−∑i=1Naiyi((∑j=1Najyjxj)⋅xi+b+∑i=1Nai)L(w,b,a)=\frac{1}{2}\sum\limits_{i=1}^N\sum\limits_{j=1}^Na_ia_jy_iy_j(x_i \cdot x_j)-\sum\limits_{i=1}^Na_iy_i\Bigg((\sum\limits_{j=1}^Na_jy_jx_j)\cdot x_i +b+\sum\limits_{i=1}^Na_i\Bigg)L(w,b,a)=21​i=1∑N​j=1∑N​ai​aj​yi​yj​(xi​⋅xj​)−i=1∑N​ai​yi​((j=1∑N​aj​yj​xj​)⋅xi​+b+i=1∑N​ai​)

=−12∑i=1N∑j=1Naiajyiyj(xi⋅xj)+∑i=1Nai=-\frac{1}{2}\sum\limits_{i=1}^N\sum\limits_{j=1}^Na_ia_jy_iy_j(x_i \cdot x_j)+\sum\limits_{i=1}^Na_i=−21​i=1∑N​j=1∑N​ai​aj​yi​yj​(xi​⋅xj​)+i=1∑N​ai​

(2)(2)(2)
                                      min⁡a 12∑i=1N∑j=1Naiajyiyj(xi⋅xj)−∑i=1Nai\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \min\limits_a\ \frac{1}{2}\sum\limits_{i=1}^N\sum\limits_{j=1}^Na_ia_jy_iy_j(x_i \cdot x_j)-\sum\limits_{i=1}^Na_i                                      amin​ 21​i=1∑N​j=1∑N​ai​aj​yi​yj​(xi​⋅xj​)−i=1∑N​ai​
                                      s.t.  ∑i=1Naiyi=0\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ s.t.\ \ \sum\limits_{i=1}^Na_iy_i=0                                      s.t.  i=1∑N​ai​yi​=0
                                      ai≥0,i=1,2,...,N\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ a_i\ge 0,i=1,2,...,N                                      ai​≥0,i=1,2,...,N



w∗=∑i=1Nai∗yixiw^*=\sum\limits_{i=1}^Na_i^*y_ix_iw∗=i=1∑N​ai∗​yi​xi​
b∗=yi−∑i=1Nai∗yi(xi⋅xj),ai>0b^*=y_i-\sum\limits_{i=1}^Na_i^*y_i(x_i \cdot x_j),a_i>0b∗=yi​−i=1∑N​ai∗​yi​(xi​⋅xj​),ai​>0
f(x)=sign(∑i=1Nai∗yi(x⋅xi)+b∗)f(x)=sign(\sum\limits_{i=1}^Na_i^*y_i(x \cdot x_i)+b^*)f(x)=sign(i=1∑N​ai∗​yi​(x⋅xi​)+b∗)
算法
输入:线性可分训练集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},其中xi∈Rn,yi∈{−1,+1},i=1,2,...,Nx_i \in R^n,y_i \in \{-1,+1\},i=1,2,...,Nxi​∈Rn,yi​∈{−1,+1},i=1,2,...,N
输出:分离超平面和分类决策函数
(1)(1)(1)
                                      min⁡a 12∑i=1N∑j=1Naiajyiyj(xi⋅xj)−∑i=1Nai\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \min\limits_a\ \frac{1}{2}\sum\limits_{i=1}^N\sum\limits_{j=1}^Na_ia_jy_iy_j(x_i \cdot x_j)-\sum\limits_{i=1}^Na_i                                      amin​ 21​i=1∑N​j=1∑N​ai​aj​yi​yj​(xi​⋅xj​)−i=1∑N​ai​
                                      s.t.  ∑i=1Naiyi=0\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ s.t.\ \ \sum\limits_{i=1}^Na_iy_i=0                                      s.t.  i=1∑N​ai​yi​=0
                                      ai≥0,i=1,2,...,N\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ a_i\ge 0,i=1,2,...,N                                      ai​≥0,i=1,2,...,N
求解a∗a^*a∗
(2)(2)(2)计算
w∗=∑i=1Nai∗yixiw^*=\sum\limits_{i=1}^Na_i^*y_ix_iw∗=i=1∑N​ai∗​yi​xi​
b∗=yj−∑i=1Nai∗yi(xi⋅xj),aj>0b^*=y_j-\sum\limits_{i=1}^Na_i^*y_i(x_i \cdot x_j),a_j>0b∗=yj​−i=1∑N​ai∗​yi​(xi​⋅xj​),aj​>0

(3)(3)(3)求得分类超平面
f(x)=sign(∑i=1Nai∗yi(x⋅xi)+b∗)f(x)=sign(\sum\limits_{i=1}^Na_i^*y_i(x \cdot x_i)+b^*)f(x)=sign(i=1∑N​ai∗​yi​(x⋅xi​)+b∗)

线性支持向量机与软间隔最大化

线性支持向量机

  • 定义 给定线性不可分的训练数据集,通过求解凸二次规划问题,即软间隔最大化,得到分离超平面为
    w∗⋅x+b∗=0w^* \cdot x+b^*=0w∗⋅x+b∗=0
    以及决策分类函数
    f(x)=sign(w∗⋅x+b∗)f(x)=sign(w^* \cdot x+b^*)f(x)=sign(w∗⋅x+b∗)
    称为线性支持向量机,
    即
    改变约束条件为
    yi(w⋅xi+b)≥1−ξi,ξi≥0y_i(w \cdot x_i+b)\ge 1-\xi_i,\xi_i\ge0yi​(w⋅xi​+b)≥1−ξi​,ξi​≥0
    目标函数为
    12∣∣w∣∣2+C∑i=1Nξi,C>0\frac{1}{2}||w||^2+C\sum\limits_{i=1}^N\xi_i,C>021​∣∣w∣∣2+Ci=1∑N​ξi​,C>0
    最终为
    min⁡w,b   12∣∣w∣∣2+C∑i=1Nξi                          \min\limits_{w,b} \ \ \ \frac{1}{2}||w||^2+C\sum\limits_{i=1}^N\xi_i\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ w,bmin​   21​∣∣w∣∣2+Ci=1∑N​ξi​                         
    s.t.    yi(w+b)≥1−ξi,i=1,2,...,N s.t. \ \ \ \ y_i({w}+{b}) \ge1-\xi_i, i=1,2,...,Ns.t.    yi​(w+b)≥1−ξi​,i=1,2,...,N

学习的对偶算法

根据对偶原理
L(w,b,ξ,a,μ)=12∣∣w∣∣2+C∑i=1Nξi−∑i=1Nai(yi(w⋅xi+b)−1+ξi)−∑i=1Nμiξi,               ξi≥0,μi≥0L(w,b,\xi,a,\mu)=\frac{1}{2}||w||^2+C\sum\limits_{i=1}^N\xi_i-\sum\limits_{i=1}^Na_i(y_i(w \cdot x_i+b)-1+\xi_i)-\sum_{i=1}^N\mu_i\xi_i,\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \xi_i \ge0,\mu_i\ge0L(w,b,ξ,a,μ)=21​∣∣w∣∣2+Ci=1∑N​ξi​−i=1∑N​ai​(yi​(w⋅xi​+b)−1+ξi​)−i=1∑N​μi​ξi​,               ξi​≥0,μi​≥0
∇wL(w,b,ξ,a,μ)=w−∑i=1Naiyixi=0\nabla_wL(w,b,\xi,a,\mu)=w-\sum\limits_{i=1}^Na_iy_ix_i=0∇w​L(w,b,ξ,a,μ)=w−i=1∑N​ai​yi​xi​=0
∇bL(w,b,ξ,a,μ)=−∑i=1Naiyi=0\nabla_bL(w,b,\xi,a,\mu)=-\sum\limits_{i=1}^Na_iy_i=0∇b​L(w,b,ξ,a,μ)=−i=1∑N​ai​yi​=0
∇ξiL(w,b,ξ,a,μ)=C−ai−μi=0\nabla_{\xi_i}L(w,b,\xi,a,\mu)=C-a_i-\mu_i=0∇ξi​​L(w,b,ξ,a,μ)=C−ai​−μi​=0
代入原式中得
                                 min⁡w,b   12∑i=1N∑j=1Naiajyiyj(xi⋅xj)−∑i=1Nai      \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \min\limits_{w,b} \ \ \ \frac{1}{2}\sum\limits_{i=1}^N\sum\limits_{j=1}^Na_ia_jy_iy_j(x_i \cdot x_j)-\sum\limits_{i=1}^Na_i \ \ \ \ \                                  w,bmin​   21​i=1∑N​j=1∑N​ai​aj​yi​yj​(xi​⋅xj​)−i=1∑N​ai​     
s.t.            ∑i=1Naiyi=0 s.t. \ \ \ \ \ \ \ \ \ \ \ \ \sum\limits_{i=1}^Na_iy_i=0s.t.            i=1∑N​ai​yi​=0
      0≤ai≤C,i=1,2,...,N \ \ \ \ \ \ 0\le a_i\le C,i=1,2,...,N      0≤ai​≤C,i=1,2,...,N
其中
w∗=∑i=1Nai∗yixiw^*=\sum\limits_{i=1}^Na_i^*y_ix_iw∗=i=1∑N​ai∗​yi​xi​
b∗=yj−∑i=1Nyiai∗(xi⋅xj),0<aj∗<Cb^*=y_j-\sum\limits_{i=1}^Ny_ia_i^*(x_i \cdot x_j),0<a_j^*<Cb∗=yj​−i=1∑N​yi​ai∗​(xi​⋅xj​),0<aj∗​<C
算法:
输入:线性可分训练集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},其中xi∈Rn,yi∈{−1,+1},i=1,2,...,Nx_i \in R^n,y_i \in \{-1,+1\},i=1,2,...,Nxi​∈Rn,yi​∈{−1,+1},i=1,2,...,N
输出:分离超平面和分类决策函数
(1)(1)(1)
                                      min⁡a 12∑i=1N∑j=1Naiajyiyj(xi⋅xj)−∑i=1Nai\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \min\limits_a\ \frac{1}{2}\sum\limits_{i=1}^N\sum\limits_{j=1}^Na_ia_jy_iy_j(x_i \cdot x_j)-\sum\limits_{i=1}^Na_i                                      amin​ 21​i=1∑N​j=1∑N​ai​aj​yi​yj​(xi​⋅xj​)−i=1∑N​ai​
                                      s.t.  ∑i=1Naiyi=0\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ s.t.\ \ \sum\limits_{i=1}^Na_iy_i=0                                      s.t.  i=1∑N​ai​yi​=0
                                      0≤ai≤C,i=1,2,...,N\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ 0 \le a_i\le C,i=1,2,...,N                                      0≤ai​≤C,i=1,2,...,N
求解a∗a^*a∗
(2)(2)(2)计算
w∗=∑i=1Nai∗yixiw^*=\sum\limits_{i=1}^Na_i^*y_ix_iw∗=i=1∑N​ai∗​yi​xi​
b∗=yj−∑i=1Nai∗yi(xi⋅xj),aj>0b^*=y_j-\sum\limits_{i=1}^Na_i^*y_i(x_i \cdot x_j),a_j>0b∗=yj​−i=1∑N​ai∗​yi​(xi​⋅xj​),aj​>0

(3)(3)(3)求得分类超平面
f(x)=sign(∑i=1Nai∗yi(x⋅xi)+b∗)f(x)=sign(\sum\limits_{i=1}^Na_i^*y_i(x \cdot x_i)+b^*)f(x)=sign(i=1∑N​ai∗​yi​(x⋅xi​)+b∗)

支持向量

  • 0<ai∗<C0<a_i^*<C0<ai∗​<C则xix_ixi​在间隔边界上
  • ai∗=C,0<ξi<1a_i^*=C,0 < \xi_i <1ai∗​=C,0<ξi​<1则分类正确,且在间隔边界和超平面之间
  • ai∗=C,ξi=1a_i^*=C,\xi_i =1ai∗​=C,ξi​=1则xix_ixi​在分离超平面上
  • ai∗=C,1<ξia_i^*=C,1 < \xi_iai∗​=C,1<ξi​则xix_ixi​在另一测

合页损失函数

修改目标函数为
∑i=1N[1−yi(w⋅x+b)]++λ∣∣w∣∣2\sum\limits_{i=1}^N[1-y_i(w \cdot x+b)]_++ \lambda||w||^2i=1∑N​[1−yi​(w⋅x+b)]+​+λ∣∣w∣∣2
等价于线性支持向量机
取ξi=[1−yi(w⋅x+b)]+\xi_i=[1-y_i(w \cdot x+b)]_+ξi​=[1−yi​(w⋅x+b)]+​
则
min⁡w,b∑i=1Nξi+λ∣∣w∣∣2\min\limits_{w,b}\sum\limits_{i=1}^N\xi_i+\lambda||w||^2w,bmin​i=1∑N​ξi​+λ∣∣w∣∣2
取λ=12C\lambda=\frac{1}{2C}λ=2C1​
则
min⁡w,b1C(C∑i=1Nξi+12λ∣∣w∣∣2)\min\limits_{w,b}\frac{1}{C}(C\sum\limits_{i=1}^N\xi_i+\frac{1}{2}\lambda||w||^2)w,bmin​C1​(Ci=1∑N​ξi​+21​λ∣∣w∣∣2)
等价之

非线性支持向量机与核函数

核技巧

针对线性不可分问题,我们应用核技巧
设ϕ(x)\phi(x)ϕ(x)为x向特征空间的映射
k(x,z)=ϕ(x)⋅ϕ(z)k(x,z)=\phi(x) \cdot \phi(z)k(x,z)=ϕ(x)⋅ϕ(z)
替换xj⋅xix_j \cdot x_ixj​⋅xi​为k(x,z)k(x,z)k(x,z)

正定核

K(x,z)K(x,z)K(x,z)为正定核函数的充要条件为其Gram矩阵是半正定的
K=[K(xi,xj)]m×mK=[K(x_i,x_j)]_{m×m}K=[K(xi​,xj​)]m×m​
为半正定

常用核函数

  • 多项式核函数
    K(x,z)=(x⋅z+1)pK(x,z)=(x \cdot z +1)^pK(x,z)=(x⋅z+1)p
  • 高斯核函数
    K(x,z)=exp⁡(−∣∣x−z∣∣22σ2)K(x,z)=\exp(-\frac{||x-z||^2}{2\sigma^2})K(x,z)=exp(−2σ2∣∣x−z∣∣2​)
  • 字符串核函数
    Kn(s,t)=∑u∈∑n[ϕn(s)]n[ϕn(t)]n=∑u∈∑n∑(i,j):s(i)=t(j)=uλl(i)+l(j)K_n(s,t)=\sum\limits_{u \in \sum^n}[\phi_n(s)]_n[\phi_n(t)]_n=\sum\limits_{u \in \sum^n}\sum\limits_{(i,j):s(i)=t(j)=u}\lambda^{l(i)+l(j)}Kn​(s,t)=u∈∑n∑​[ϕn​(s)]n​[ϕn​(t)]n​=u∈∑n∑​(i,j):s(i)=t(j)=u∑​λl(i)+l(j)
    其中0<λ≤1,l(i)0<\lambda\le1,l(i)0<λ≤1,l(i)为字符串iii的长度,在s,ts,ts,t子串上进行
    l(i)=i∣u∣−i1+1,1≤i1<i2,...,i∣u∣≤∣s∣l(i)=i_{|u|}-i_1+1,1\le i_1<i_2,...,i_{|u|}\le |s|l(i)=i∣u∣​−i1​+1,1≤i1​<i2​,...,i∣u∣​≤∣s∣

非线性支持向量机

  • 定义:从非线性分类训练集,通过核函数与软间隔最大化,或凸规划,学习得到的分类决策函数
    f(x)=sign(∑i=1Nai∗yiK(x,xi)+b∗)f(x)=sign(\sum\limits_{i=1}^Na_i^*y_iK(x,x_i)+b^*)f(x)=sign(i=1∑N​ai∗​yi​K(x,xi​)+b∗)
    称为非线性支持向量机,K(x,z)K(x,z)K(x,z)为正定核函数
    算法:
    输入:线性可分训练集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},其中xi∈Rn,yi∈{−1,+1},i=1,2,...,Nx_i \in R^n,y_i \in \{-1,+1\},i=1,2,...,Nxi​∈Rn,yi​∈{−1,+1},i=1,2,...,N
    输出:分离超平面和分类决策函数
    (1)(1)(1)
                                          min⁡a 12∑i=1N∑j=1NaiajyiyjK(xi,xj)−∑i=1Nai\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \min\limits_a\ \frac{1}{2}\sum\limits_{i=1}^N\sum\limits_{j=1}^Na_ia_jy_iy_jK(x_i,x_j)-\sum\limits_{i=1}^Na_i                                      amin​ 21​i=1∑N​j=1∑N​ai​aj​yi​yj​K(xi​,xj​)−i=1∑N​ai​
                                          s.t.  ∑i=1Naiyi=0\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ s.t.\ \ \sum\limits_{i=1}^Na_iy_i=0                                      s.t.  i=1∑N​ai​yi​=0
                                          0≤ai≤C,i=1,2,...,N\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ 0 \le a_i\le C,i=1,2,...,N                                      0≤ai​≤C,i=1,2,...,N
    求解a∗a^*a∗
    (2)(2)(2)计算
    w∗=∑i=1Nai∗yixiw^*=\sum\limits_{i=1}^Na_i^*y_ix_iw∗=i=1∑N​ai∗​yi​xi​
    b∗=yj−∑i=1Nai∗yiK(xi,xj),aj>0b^*=y_j-\sum\limits_{i=1}^Na_i^*y_iK(x_i,x_j),a_j>0b∗=yj​−i=1∑N​ai∗​yi​K(xi​,xj​),aj​>0

(3)(3)(3)求得分类超平面
f(x)=sign(∑i=1Nai∗yiK(xi,x)+b∗)f(x)=sign(\sum\limits_{i=1}^Na_i^*y_iK(x_i,x)+b^*)f(x)=sign(i=1∑N​ai∗​yi​K(xi​,x)+b∗)

序列最小最优化算法

选择两个违反KKT条件的变量进行优化,直到满足停止条件或者都满足KKT条件,如果满足KKT条件,则是最优解

两个变量二次规划的求解方法

设选择a1,a2a_1,a_2a1​,a2​
min⁡a1,a2     W(a1,a2)=12K11a12+12K22a22+y1y2K12a1a2−(a1+a2)+y1a1∑i=3NyiaiKi1+y2a2∑i=3NyiaiKi2\min\limits_{a_1,a_2}\ \ \ \ \ W(a_1,a_2)=\frac{1}{2}K_{11}a_1^2+\frac{1}{2}K_{22}a_2^2+y_1y_2K_{12}a_1a_2-(a_1+a_2)+y_1a_1\sum\limits_{i=3}^Ny_ia_iK_{i1}+y_2a_2\sum\limits_{i=3}^Ny_ia_iK_{i2}a1​,a2​min​     W(a1​,a2​)=21​K11​a12​+21​K22​a22​+y1​y2​K12​a1​a2​−(a1​+a2​)+y1​a1​i=3∑N​yi​ai​Ki1​+y2​a2​i=3∑N​yi​ai​Ki2​
s.t.        a1y1+a2y2=−∑i=3Nyiai=ξs.t.\ \ \ \ \ \ \ \ a_1y_1+a_2y_2=-\sum\limits_{i=3}^Ny_ia_i=\xis.t.        a1​y1​+a2​y2​=−i=3∑N​yi​ai​=ξ
             0≤ai≤C,i=1,2\ \ \ \ \ \ \ \ \ \ \ \ \ 0 \le a_i \le C,i=1,2             0≤ai​≤C,i=1,2
Kij=K(xi,xj)K_{ij}=K(x_i,x_j)Kij​=K(xi​,xj​)
我们要求
L≤a2new≤HL \le a_2^{new}\le HL≤a2new​≤H

  • y1≠y2y_1\ne y_2y1​​=y2​ L=max⁡(0,a2old−a1old),R=min⁡(C,C+a2old−a1old)L=\max(0,a_2^{old}-a_1^{old}),R=\min(C,C+a_2^{old}-a_1^{old})L=max(0,a2old​−a1old​),R=min(C,C+a2old​−a1old​)

  • y1=y2y_1= y_2y1​=y2​ L=max⁡(0,a2old+a1old−C),R=min⁡(C,a2old+a1old)L=\max(0,a_2^{old}+a_1^{old}-C),R=\min(C,a_2^{old}+a_1^{old})L=max(0,a2old​+a1old​−C),R=min(C,a2old​+a1old​)
    未剪辑和考虑约束条件的解为a2new,unca_2^{new,unc}a2new,unc​
    g(x)=∑i=1NaiyiK(xi,x)+bg(x)=\sum\limits_{i=1}^Na_iy_iK(x_i,x)+bg(x)=i=1∑N​ai​yi​K(xi​,x)+b
    Ei=g(xi)−yi=(∑j=1NajyjK(xj,xi)+b)−yi,     i=1,2E_i=g(x_i)-y_i=(\sum\limits_{j=1}^Na_jy_jK(x_j,x_i)+b)-y_i,\ \ \ \ \ i=1,2Ei​=g(xi​)−yi​=(j=1∑N​aj​yj​K(xj​,xi​)+b)−yi​,     i=1,2
    则
    a2new,unc=a2old+y2(E1−E2)ηa_2^{new,unc}=a_2^{old}+\frac{y_2(E_1-E_2)}{\eta}a2new,unc​=a2old​+ηy2​(E1​−E2​)​
    其中
    η=K11+K22−2K12\eta=K_{11}+K_{22}-2K_{12}η=K11​+K22​−2K12​
    再进行剪辑
    anew={Ha2new,unc>Ha2new,uncL≤a2new,unc≤HLa2new,unc<La^{new}=\begin{cases} H & a_2^{new,unc}>H\\ a_2^{new,unc} & L \le a_2^{new,unc} \le H\\ L & a_2^{new,unc}<L\\ \end{cases}anew=⎩⎪⎨⎪⎧​Ha2new,unc​L​a2new,unc​>HL≤a2new,unc​≤Ha2new,unc​<L​
    又
    a1new=a1old+y1y2(a2old−a1old)a_1^{new}=a_1^{old}+y_1y_2(a_2^{old}-a_1^{old})a1new​=a1old​+y1​y2​(a2old​−a1old​)

  • 以上更新公式的证明:
    记vi=∑j=3NajyjK(xi,xj)=g(xi)−∑j=12ajyjK(xi,xj)−bv_i=\sum\limits_{j=3}^Na_jy_jK(x_i,x_j)=g(x_i)-\sum\limits_{j=1}^2a_jy_jK(x_i,x_j)-bvi​=j=3∑N​aj​yj​K(xi​,xj​)=g(xi​)−j=1∑2​aj​yj​K(xi​,xj​)−b
    则原问题为
    W(a1,a2)=12K11a12+12K22a22+y1y2K12a1a2−(a1+a2)+y1v1a1+y2v2a2W(a_1,a_2)=\frac{1}{2}K_{11}a_1^2+\frac{1}{2}K_{22}a_2^2+y_1y_2K_{12}a_1a_2-(a_1+a_2)+y_1v_1a_1+y_2v_2a_2W(a1​,a2​)=21​K11​a12​+21​K22​a22​+y1​y2​K12​a1​a2​−(a1​+a2​)+y1​v1​a1​+y2​v2​a2​
    又
    a1=(ξ−y2a2)y1a_1=(\xi-y_2a_2)y_1a1​=(ξ−y2​a2​)y1​
    则得到
    W(a2)=12K11(ξ−a2y2)2+12K22a22+y2K12(ξ−a2y2)a2−(ξ−a2y2)y1−a2+v1(ξ−a2y2)+y2v2a2W(a_2)=\frac{1}{2}K_{11}(\xi-a_2y_2)^2+\frac{1}{2}K_{22}a_2^2+y_2K_{12}(\xi-a_2y_2)a_2-(\xi-a_2y_2)y_1-a_2+v_1(\xi-a_2y_2)+y_2v_2a_2W(a2​)=21​K11​(ξ−a2​y2​)2+21​K22​a22​+y2​K12​(ξ−a2​y2​)a2​−(ξ−a2​y2​)y1​−a2​+v1​(ξ−a2​y2​)+y2​v2​a2​
    求导
    ∂W∂a2=K11a2+K22a2−2K12a2−K11ξy2+K12ξy2+y1y2−1−v1y2+y2v2=0\frac{\partial W}{\partial a_2}=K_{11}a_2+K_{22}a_2-2K_{12}a_2-K_{11}\xi y_2+K_{12}\xi y_2+y_1y_2-1-v_1y_2+y_2v_2=0∂a2​∂W​=K11​a2​+K22​a2​−2K12​a2​−K11​ξy2​+K12​ξy2​+y1​y2​−1−v1​y2​+y2​v2​=0
    同时
    η=K11+K22−2K12\eta=K_{11}+K_{22}-2K_{12}η=K11​+K22​−2K12​
    得
    a2new,unc=a2old+y2(E1−E2)ηa_2^{new,unc}=a_2^{old}+\frac{y_2(E_1-E_2)}{\eta}a2new,unc​=a2old​+ηy2​(E1​−E2​)​

变量的选择方法

  1. 选择第一个变量
    KTT条件如下
    ai=0  ⟺  yig(xi)≥1a_i=0\iff y_ig(x_i) \ge 1ai​=0⟺yi​g(xi​)≥1
    0<ai<C  ⟺  yig(xi)=10<a_i<C\iff y_ig(x_i) = 10<ai​<C⟺yi​g(xi​)=1
    ai=C  ⟺  yig(xi)≤1a_i=C\iff y_ig(x_i) \le 1ai​=C⟺yi​g(xi​)≤1
    优先选择不满足第二个条件,再遍历整个数据集选其他不满足的
  2. 选择第二个变量
    在第一个选择后,我们选择a2a_2a2​的原则是尽量变化的快,即
  • E1>0E_1>0E1​>0,选最小的E2E_2E2​
  • E1<0E_1<0E1​<0,选最大的E2E_2E2​
    优先选择间隔边界上的点,如果没有变化快的,则遍历整个数据集,如果再没有,则放弃a1a_1a1​重新选择a1a_1a1​
  1. 计算bbb和EiE_iEi​
    由KKT条件,0<a1new<C0<a_1^{new}<C0<a1new​<C
    ∑i=1NaiyiKi1+b=y1\sum\limits_{i=1}^Na_iy_iK_{i1}+b=y_1i=1∑N​ai​yi​Ki1​+b=y1​
    则
    b1new=y1−∑i=3NaiyiKi1−a1newy1K11−a2newy2K21b_1^{new}=y_1-\sum\limits_{i=3}^Na_iy_iK_{i1}-a_1^{new}y_1K_{11}-a_2^{new}y_2K_{21}b1new​=y1​−i=3∑N​ai​yi​Ki1​−a1new​y1​K11​−a2new​y2​K21​
    又
    E1=∑i=3NaiyiKi1+a1oldy1K11+a2oldy2K21+bold−y1E_1=\sum\limits_{i=3}^Na_iy_iK_{i1}+a_1^{old}y_1K_{11}+a_2^{old}y_2K_{21}+b^{old}-y_1E1​=i=3∑N​ai​yi​Ki1​+a1old​y1​K11​+a2old​y2​K21​+bold−y1​
    由两项得
    b1new=−E1−y1K11(a1new−a1old)−y2K21(a2new−a2old)+boldb_1^{new}=-E_1-y_1K_{11}(a_1^{new}-a_1^{old})-y_2K_{21}(a_2^{new}-a_2^{old})+b^{old}b1new​=−E1​−y1​K11​(a1new​−a1old​)−y2​K21​(a2new​−a2old​)+bold
    同样如果0<a2new<C0<a_2^{new}<C0<a2new​<C
    b2new=−E2−y1K12(a1new−a1old)−y2K22(a2new−a2old)+boldb_2^{new}=-E_2-y_1K_{12}(a_1^{new}-a_1^{old})-y_2K_{22}(a_2^{new}-a_2^{old})+b^{old}b2new​=−E2​−y1​K12​(a1new​−a1old​)−y2​K22​(a2new​−a2old​)+bold
    如果a1new,a2newa_1^{new},a_2^{new}a1new​,a2new​同时满足条件,则b1new=b2newb_1^{new}=b_2^{new}b1new​=b2new​
    如果a1new,a2newa_1^{new},a_2^{new}a1new​,a2new​为0或CCC,则我们取bnew=b1new+b2new2b^{new}=\frac{b_1^{new}+b_2^{new}}{2}bnew=2b1new​+b2new​​
    最后
    Einew=∑SyjajK(xi,xj)+bnew−yiE_i^{new}=\sum\limits_{S}y_ja_jK(x_i,x_j)+b^{new}-y_iEinew​=S∑​yj​aj​K(xi​,xj​)+bnew−yi​
    其中SSS为支持向量的集合

SMO算法

输入:训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)},xi∈Rn,yi∈{−1,+1}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\},x_i \in R^n,y_i \in \{-1,+1\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},xi​∈Rn,yi​∈{−1,+1},精度 ϵ\epsilonϵ
输出:近似解a^\hat{a}a^
(1)(1)(1)取初始值a(0)=0,k=0a^{(0)}=0,k=0a(0)=0,k=0
(2)(2)(2)按照算法求解以a1(k)a2(k),a^{(k)}_1a^{(k)}_2,a1(k)​a2(k)​,求a1(k+1)a2(k+1),a^{(k+1)}_1a^{(k+1)}_2,a1(k+1)​a2(k+1)​,
(3)(3)(3)如果以精度 ϵ\epsilonϵ满足条件则停止,
∑i=1Naiyi=0,0≤ai≤C,i=1,2,...,N\sum\limits_{i=1}^Na_iy_i=0,0\le a_i \le C,i=1,2,...,Ni=1∑N​ai​yi​=0,0≤ai​≤C,i=1,2,...,N
yi⋅g(xi)={≥1{xi∣ai=0}=1{xi∣0<ai<C}≤1{xi∣ai=C} y_i \cdot g(x_i)=\begin{cases} \ge 1 &\{x_i|a_i=0\}\\ =1 &\{x_i|0<a_i<C\}\\ \le 1 & \{x_i|a_i=C\}\\ \end{cases} yi​⋅g(xi​)=⎩⎪⎨⎪⎧​≥1=1≤1​{xi​∣ai​=0}{xi​∣0<ai​<C}{xi​∣ai​=C}​
其中
g(xi)=∑j=1NajyjK(xj,xi)+bg(x_i)=\sum\limits_{j=1}^Na_jy_jK(x_j,x_i)+bg(xi​)=j=1∑N​aj​yj​K(xj​,xi​)+b
否则转(4),k=k+1(4),k=k+1(4),k=k+1
(4)(4)(4)a^=a(k+1)\hat{a}=a^{(k+1)}a^=a(k+1)

李航《统计学习方法》第七章——用Python实现支持向量机模型(伪造数据集) 相关文章: 李航《统计学习方法》第二章——用Python实现感知器模型(MNIST数据集) 李航《统计学习方法》第三章——用Python实现KNN算法(MNIST数据集) 李航《统计学习方法》第四章——用Python实现朴素贝叶斯分类器(MNIST数据集) 李航《统计学习方法》第五章——用Python实现决策树(MNIST数据集) 李航《统计学习方法》第六章——用Py 阅读详情

相关推荐

李航《统计学习方法》中“支持向量机”小结

对支持向量机的总结,该小结是本人在阅读了大牛李航的《统计学习方法》之后做的总结,往对读者有所帮助。

《统计学习方法》笔记(7):支持向量机

支持向量机是采用最优分离超平面将样本分为不同类别的二分类模型。其中的关键词是:最优分离超平面(不同于感知机中的“分离超平面”)、二分类。同时注意理解与最分离超平面相关的“函数间隔”、“几何间隔”概念。

JackFeng's Blog 1201

华三R4900 G5服务器实战:用PMC P460-B4阵列卡配置RAID1+RAID6,并搞定CentOS 7.9安装(含热备盘设置)

本文详细解析了在华三R4900 G5服务器上使用PMC P460-B4阵列卡配置RAID1+RAID6混合阵列的全过程,包括热备盘设置和CentOS 7.9系统安装。通过实战步骤和性能优化建议,帮助企业IT人员高效部署高可用存储方案,特别适合需要数据冗余和系统稳定性的企业级应用场景。

weixin_29248653的博客 358

李航-《统计学习方法》第七章支持向量机

文章目录一 模型1.1 线性可分支持向量机与硬间隔最大化1.2 线性支持向量机与软间隔最大化1.3 非线性支持向量机与核函数二 策略三 算法[序列最小最优化算法SMO] 支持向量机  二分类模型        基本模型:定义在特征空间上的间隔最大的线性分类器,间隔最大使之区别于感知机        扩展 模型:核技巧,实质上成为非线性分类器        学习策略:间隔最大化,形式化为求解凸二次规...

李滚滚的博客 1830

无符号整数、带符号整数溢出问题

让我们详细讲解一下带符号整数溢出和无符号整数溢出问题中,符号标志位 (SF)、零标志位 (ZF) 和进位标志位 (CF) 的行为方式

weixin_49342084的博客 2093

硬件工程师进阶之路:从电路基础到PCB设计实战核心技能

硬件电路设计是一项融合电路理论、器件特性与工程实践的复合型技术。一块稳定可靠的电路板,不仅需要正确的原理图,更依赖于合理的叠层规划、元器件布局与布线策略。在高速数字电路日益普及的今天,信号完整性、电源完整性与电磁兼容性设计已成为决定产品成败的关键因素,工程师需要深入理解阻抗匹配、回流路径、去耦电容布置等技术原理,并将理论灵活应用于通信设备、消费电子、工业控制等各类产品研发场景。PCB设计正是连接电原理图与可量产产品之间的核心枢纽,也是硬件工程师能力进阶过程中的分水岭技能。掌握从基础电路分析到高速PCB设计,

weixin_29183637的博客 268

李航《统计学习方法》——第七章 支持向量机

由于网上资料很多,这里就不再对算法原理进行推导,仅给出博主用Python实现的代码,供大家参考 适用问题:二类分类 实验数据:二分类的数据 train_binary.csv SVM有三种模型,由简至繁为 当训练数据训练可分时,通过硬间隔最大化,可学习到硬间隔支持向量机,又叫线性可分支持向量机 当训练数据训练近似可分时,通过软间隔最大化,可学习到软间隔支持向量机,又叫线性支持向量机 当训练...

fuqiuai的博客 5159

三分钟解决RKNN-Toolkit2安装失败:从模块报错到成功验证的完整记录

本文详细记录了RKNN-Toolkit2安装失败的解决方案,从环境配置到模型转换实战,特别针对常见的'No module named 'rknn''报错提供了完整修复指南。通过YOLOv8模型转换示例,展示了从ONNX到RKNN格式的完整流程,并分享了在RK3588芯片上的部署优化技巧。

html8的博客 266

《统计学习方法》第七章支持向量机学习笔记

一、线性可分支持向量机定义:给定线性可分训练数据集,通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为: w∗⋅x+b∗=0w^*\cdot x+b^*=0 以及相应的分类决策函数: f(x)=sign(w∗⋅x+b∗)f(x)=sign{(w^*\cdot x+b^*)} 称为线性可分支持向量机。 SVM的分类决策函数和感知机决策函数形式很类似,但是求得的超平面不一样。

wjlucc的专栏 3236

OpenCV简单应用:图像模糊处理

OpenCV是一个广泛使用的开源计算机视觉库,提供了丰富的图像处理和计算机视觉算法。本文将介绍如何使用OpenCV对图像进行模糊处理,并提供相应的源代码。该函数接受两个参数:第一个参数是输入图像,第二个参数是指定模糊核大小的元组。在这个例子中,我们使用了一个5x5的模糊核。您可以尝试不同大小的模糊核,以获得不同程度的模糊效果。函数和指定不同大小的模糊核,我们可以实现不同程度的模糊效果。该函数接受两个参数:第一个参数是窗口的名称,第二个参数是要显示的图像。在上面的代码中,我们首先使用。要运行上述代码,请将。

MwgmPhilosophy的博客 291

Openclaw第5章 知识库管理

💡:学会使用 OpenClaw构建个人知识库系统,实现网页文章存档、GitHub项目管理、论文笔记整理和跨设备同步。

Maynor的博客 778

统计学习方法笔记_cbr:第七章 SVM支持向量机

即核函数等于映射内积;特点核函数直接计算容易,用映射内积计算难;核函数和映射的关系一对多;

chenburong2021的博客 497

基于YOLOv11的军事目标识别系统设计与实现(坦克、舰船检测)

DOTA-v2.0(包含多种军事装备的航拍图像)图片数量:11,268类别:18类,包括坦克、舰船、战斗机等分辨率:800×800~4000×4000HRSC2016(高分辨率舰船检测数据集)图片数量:1,061类别:舰船及子类特点:包含多种视角和复杂背景图片数量:5,000+类别:22种军用飞机标注:精确边界框自建数据集建议收集来源:公开军事演习视频、卫星图像、模拟游戏截图数据增强:模拟不同天气、遮挡、低光照等战场环境。

YOLO 450

李航老师《统计学习方法》第七章:SVM支持向量机(SMO算法)python代码实现

【代码】李航老师《统计学习方法》第七章:SVM支持向量机(SMO算法)python代码实现。

yuzixuan233的博客 836

【个人成长笔记】在Ubuntu中安装RTL8188GU USB无线网卡驱动(Driver for Linux RTL8188GU)

这篇笔记提供了在Ubuntu系统中安装RTL8188GU无线网卡驱动的完整指南。主要内容包括:驱动程序的官方来源(Github链接)、详细安装步骤(通过git下载、编译安装等命令),以及将设备转换为USB网卡模式的关键指令。特别提醒每次开机都需要执行模式转换命令,因为设备默认会以U盘模式启动。文章以简洁的技术文档形式呈现,适合Linux用户快速查阅和操作。

yuhuasheng1997的博客 1831

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

《统计学习方法》——第七章 支持向量机

本文只要记录一些书中的一些小知识点,挑一些本人认为重要的地方进行总结。各位道友!道长(zhǎng) 道长(chǎng)给定线性可分的训练数据集,通过间隔最大化或等价的求解相应的凸二次规划问题学习得到的分离超平面为w∗⋅xb∗0w∗⋅xb∗0相应的决策函数为fxsignw∗⋅xb∗fxsignw∗⋅xb∗称为线性可分支持向量机设输入空间XXX是欧氏空间或离散集合,新空间HHHϕxX→HϕxX→H。

weixin_46034279的博客 1356

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

【统计学习方法】第七章 支持向量机

文章目录基础概念1. 线性可分支持向量机——数据线性可分2. 线性支持向量机——数据近似线性可分3. 非线性支持向量机——数据线性不可分第七章 支持向量机1. 线性可分支持向量机与硬间隔最大化1.1 函数间隔与几何间隔1.2 线性可分支持向量机2. 线性支持向量机与软间隔最大化 基础概念 支持向量机(SVM)是一种二分类模型, 支持向量机的学习策略是——间隔最大化。 1. 线性可分支持向量机——数...

aaon22357的博客 588

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

SVM——《统计学习方法第七章》

为什么叫支持向量机 在第二章中我们学过感知机,它是最小化所有误分类点到超平面的距离之和, M 为误分类点的集合,得到的分离超平面是不唯一的。 min⁡ω,b[−∑xi∈Myi(ω⋅xi+b)]\min_{\omega,b}[-\sum_{x_i \in M}y_i (\omega\cdot x_i+b)]ω,bmin​[−xi​∈M∑​yi​(ω⋅xi​+b)] 在支持向量机中, {分类确信度∣ω⋅xi+b∣∣∣ω∣∣分类正确性yi(ω⋅xi+b)⇒几何间隔γi=yi(ω⋅xi+b)∣∣ω∣∣\begi

weixin_45775970的博客 818

李航 《统计学习方法》第七章支持向量机习题答案

1.比较感知机的对偶形式和线性可分支持向量机的对偶性形式。 感知机原始形式: min⁡w,bL(w,b)=−∑xiϵM(yi(w⋅xi+b))\min_{w,b} L(w,b) = - \sum_{x_i\epsilon M}(y_i(w\cdot x_i+b))w,bmin​L(w,b)=−xi​ϵM∑​(yi​(w⋅xi​+b))MMM为误分点的集合。等价于min⁡w,bL(w,b)=∑i=1...

李滚滚的博客 1万+

《统计学习方法》第七章 支持向量机

1. 主题概括 SVM(支持向量机)是二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大使它有别于感知机.SVM是在感知机基础上发展的. 感知机链接 支持向量机包括核技巧,它的作用是使的低纬度升级到高纬度,使得非线性可分问题变为可分. 2.线形可分支持向量机与硬间隔最大化 2.1 线形可分支持向量机 ...

qq_26496077的博客 2239

统计学习方法第七章作业:SVM非线性支持向量机之SMO序列最小优化算法代码实现

SMO序列最小优化算法 import numpy as np import math from sklearn.metrics import accuracy_score from sklearn.model_selection import train_test_split class SVM: def __init__(self,kernal='GKF',C=1): self.keranl=kernal self.b = 0 self.X = N

weixin_45839693的博客 362

《统计学习方法》第七章支持向量机

一、写在前面 本文是《统计学习方法》第七章支持向量机的读书笔记,前半部分是原书中内容加上自己的理解,后半部分是python实现支持向量机的代码及注释。本笔记服务于自己备忘,不做其他用途。也希望自己能坚持下来,完成整本书的学习与记录。 二、支持向量机简介 支持向量机(support vector machines,SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大使它有别于感知机;支持向量机还包括核技巧,这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化

weixin_47675950的博客 1475

《统计学习方法》第7章 课后习题

这一章尤为复杂,我看了好多资料还有博客,数学功底差总是吃亏的 1.1 比较感知机的对偶形式与线性可分支持向量机的对偶形式。 可以根据线性向量机:求解,这边我直接只用自己写的程序求解。w,b为 https://cuijiahua.com/blog/2017/11/ml_8_svm_1.html这网站很不错,讲解的很清楚 转载注明:机器学习实战教程(八):支持向量机原理篇之手撕线性S...

qq_26954059的博客 2137

统计学习方法 第七章 支持向量机

第七章 7.2 线性支持向量机与软间隔最大化 训练数据中有一些特异点,将特异点除去后,剩下大部分的样本点组成的集合是线性可分的。 可证明w的解是唯一的,b不是,而是存在于一个区间。【对于线性可分支持向量机的w,b是唯一的】 由于现实中训练数据集往往是线性不可分的,线性支持向量机具有更广的适用性 7.3 非线性支持向量机与核函数 采取的方法是进行一个非线性变换,将非线性问题变换...

weixin_41045344的博客 361

《统计学习方法》第七章

hongyesuifeng的博客 696

统计学习方法第七章——支持向量机

7.1线性可分支持向量机和硬间隔最大化 7.1.1 线性可分支持向量机 给定线性可分训练集,通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为 w∗⋅x+b∗=0 w^*\cdot x+b^*=0 w∗⋅x+b∗=0 以及相应的分类决策函数 f(X)=sign(w∗⋅x+b∗=0) f(X)=sign(w^*\cdot x+b^*=0) f(X)=sign(w∗⋅x+b∗=0) 称为线性可分支持向量机。 7.1.2 函数间隔和几何间隔 首先要知道点到超平面w⋅x+b=0w\cdot x+b

weixin_43869610的博客 530
上一篇: 洛谷-3372 【模板】线段树 1
下一篇: 《统计学习方法》(第八章)——提升方法
mkopvec
博客等级 码龄8年 22粉丝 331原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值