统计学习方法第二章 感知机 公式推导

第二章 感知机模型(Perceptron)

感知机相关定义

• 定义 2.1 (感知机) 假设输入空间（特征空间) 是 $\mathcal{X}\subseteq {\mathbf{R}}^n$, 输出空间是 Y = { + 1 , − 1 } \mathcal{Y}=\{+1,-1\} Y={+1,−1} 。输入 $x\in \mathcal{X}$ 表示实例的特征向量, 对应于输入空间（特征空间）的点; 输出 $y\in \mathcal{Y}$ 表示实例的类别。由输入空间到输出空间的如下函数:
  $$f(x)=\mathrm{sign}(w\cdot x+b)$$
  称为感知机。其中, $w$ 和 $b$ 为感知机模型参数, $w\in {\mathbf{R}}^n$ 叫作权值(weight) 或权值向 量 (weight vector), $b\in \mathbf{R}$ 叫作偏置 (bias), $w\cdot x$ 表示 $w$ 和 $x$ 的内积。 $\mathrm{sign}$ 是符号 函数, 即
  $$\mathrm{sign}(x)=\{\begin{array}{cc}+1,& x⩾0\\ -1,& x<0\end{array}$$
  感知机是一种线性分类模型, 属于判别模型。感知机模型的假设空间是定义在 特征空间中的所有线性分类模型（linear classification model）或线性分类器（linear classifier）, 即函数集合 { f ∣ f ( x ) = w ∙ x + b } \{f \mid f(x)=w \bullet x+b\} {f∣f(x)=w∙x+b} 。

• 定义 2.2 (数据集的线性可分性) 给定一个数据集
  T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } = { ( x i , y i ) } i = 1 N \begin{aligned} T& = \left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} \\ & = \left\{ (x_i,y_i)\right\}_{i=1}^N \end{aligned} T​={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}={(xi​,yi​)}i=1N​​
  其中, x i ∈ X = R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , ⋯   , N x_{i} \in \mathcal{X}=\mathbf{R}^{n}, y_{i} \in \mathcal{Y}=\{+1,-1\}, i=1,2, \cdots, N xi​∈X=Rn,yi​∈Y={+1,−1},i=1,2,⋯,N, 如果存在某个超平面 $S$
  能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧, 即对所有 $y_i=+1$ 的实例 $i$, 有 $w\cdot x_i+b>0$, 对所有 $y_i=-1$ 的实例 $i$, 有 $w\cdot x_i+b<0$, 则 称数据集 $T$ 为线性可分数据集 ( linearly separable data set ); 否则, 称数据集 $T$ 线性 不可分。

• 损失函数：

  误分类点到超平面的距离为感知机学习算法的损失函数，感知机学习算法是误分类点驱动的

  1. 任意一点 $\left(x_i,y_i\right)$ 到超平面距离：
     $$\frac{1}{\Vert w\Vert }\left|w\cdot x_0+b\right|$$
     其中 $\Vert w\Vert$ 是 w 的2范数
     $$\Vert w\Vert =\sqrt{\sum _{i=1}^N}{w}_i^2$$

  2. 误分类点到超平面距离：

     对于误分类的数据 $\left(x_i,y_i\right)$ 来说,
     $$-y_i\left(w\cdot x_i+b\right)>0$$
     成立。因为当 $w\cdot x_i+b>0$ 时, $y_i=-1$; 而当 $w\cdot x_i+b<0$ 时, $y_i=+1$ 。因此, 误 分类点 $x_i$ 到超平面 $S$ 的距离是
     $$-\frac{1}{\Vert w\Vert }{y}_i\left(w\cdot x_i+b\right)$$
     这样, 假设超平面 $S$ 的误分类点集合为 $M$, 那么所有误分类点到超平面 $S$ 的总 距离为
     $$-\frac{1}{\Vert w\Vert }\sum _{x,\subset M}{y}_i\left(w\cdot x_i+b\right)$$

  3. 损失函数

     $\Vert w\Vert$是常数，不考虑，则感知机损失函数
     $$L(w,b)=-\sum _{x,\subset M}{y}_i\left(w\cdot x_i+b\right)$$
     其为 $M$为误分类点集合

---

原始形式

• 算法 2.1 (感知机学习算法的原始形式)
输入: 训练数据集 T = { ( x i , y i ) } i = 1 N T=\left\{ (x_i,y_i)\right\}_{i=1}^N T={(xi​,yi​)}i=1N​, 其中 $x_i\in \mathcal{X}={\mathbf{R}}^n,y_i\in$ Y = { − 1 , + 1 } , i = 1 , 2 , ⋯   , N \mathcal{Y}=\{-1,+1\}, i=1,2, \cdots, N Y={−1,+1},i=1,2,⋯,N; 学习率 $\eta (0<\eta ⩽1)$;
  输出: $w,b$; 感知机模型 $f(x)=\mathrm{sign}(w\cdot x+b)$ 。
  (1) 选取初值 $w_0,b_0$;
  (2) 在训练集中选取数据 $\left(x_i,y_i\right)$;
  (3) 如果 $y_i\left(w\cdot x_i+b\right)⩽0$,使用随机梯度下降更新如下
  $$\begin{array}{r}w\leftarrow w+\eta y_i{x}_i(控制旋转)\\ b\leftarrow b+\eta y_i(控制平移)\end{array}$$
  (4) 转至 (2), 直至训练集中没有误分类点。

• 梯度下降求解
  $$\begin{array}{rl}\underset{w,b}{\min }L(w,b)& =-\sum _{x,\subset M}{y}_i\left(w\cdot x_i+b\right)\\ \Rightarrow {\nabla }_{w}L(w,b)& =\frac{\partial L(w,b)}{\partial w}=-\sum _{x,\subset M}{y}_i{x}_i\\ {\nabla }_{b}L(w,b)& =\frac{\partial L(w,b)}{\partial b}=-\sum _{x,\subset M}{y}_i\end{array}$$

  因为负梯度方向是函数降速最快的方向，所以更新时用的是负梯度，那么w，b更新为

  $$\begin{array}{rl}w\leftarrow w-(\eta \cdot {\nabla }_{w}L(w,b))& =w-\eta \cdot (-\sum _{x,\subset M}{y}_i{x}_i)\\ b\leftarrow b-(\eta \cdot {\nabla }_{b}L(w,b))& =b-\eta \cdot (-\sum _{x,\subset M}{y}_i)\\ \Rightarrow w& \leftarrow w+\eta \cdot \sum _{x,\subset M}{y}_i{x}_i\\ b& \leftarrow b+\eta \cdot \sum _{x,\subset M}{y}_i\end{array}$$
  因为梯度下降每次更新需要计算所有点，时间空间耗费大，所以感知机算法使用的是随机梯度下降，即从初始开始每次只去一个点进行更新，所以更新公式为
  $$\begin{array}{rl}\Rightarrow w& \leftarrow w+\eta \cdot \sum _{x,\subset M}{y}_i{x}_i\\ b& \leftarrow b+\eta \cdot \sum _{x,\subset M}{y}_i\end{array}$$

---

对偶形式

• 算法 2.2 (感知机学习算法的对偶形式)
输入: 线性可分的数据集 T = { ( x i , y i ) } i = 1 N T=\left\{ (x_i,y_i)\right\}_{i=1}^N T={(xi​,yi​)}i=1N​, 其中 $x_i\in {\mathbf{R}}^n,y_i\in$ { − 1 , + 1 } , i = 1 , 2 , ⋯   , N \{-1,+1\}, i=1,2, \cdots, N {−1,+1},i=1,2,⋯,N; 学习率 $\eta (0<\eta ⩽1)$;
  输出: $\alpha ,b$; 感知机模型 $f(x)=\mathrm{sign}\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b\right)$, 其中 $\alpha =$ ${\left({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N\right)}^{\mathrm{T}}$
  (1) $\alpha \leftarrow 0,b\leftarrow 0$
  (2) 在训练集中选取数据 $\left(x_i,y_i\right)$;
  (3) 如果 $y_i\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b\right)⩽0$,
  $$\begin{array}{rlr}{\alpha }_i& \leftarrow & {\alpha }_i+\eta \\ b& \leftarrow & b+\eta y_i\end{array}$$
  (4) 转至 (2) 直到没有误分类数据。

• GRAM矩阵

  对偶形式中训练实例仅以内积的形式出现，可预先将训练集中实例之间的内积计算出来并一矩阵形式存储，这个矩阵就是GRAM矩阵，具体形式为n维欧式空间中任意个向量的内积所组成的矩阵

  设 $X$ 为特征矩阵，$X=(x_1,x_2,\cdots ,x_n{)}^T$
  $$\begin{array}{rl}G& ={\left[x_i\cdot x_j\right]}_{N\times N}\\ & =X^{T}X\\ & =\left[\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_n^T\end{array}\right]\left[\begin{array}{lll}{x}_1& x_2\cdots & x_n\end{array}\right]\\ & =\left[\begin{array}{cccc}{x}_1^T{x}_1& x_1^T{x}_2& \cdots & x_1^T{x}_n\\ x_2^T{x}_1& x_2^T{x}_2& \cdots & x_2^T{x}_n\\ x_n^T{x}_1& x_n^T{x}_2& \cdots & x_n^T{x}_n\end{array}\right]\end{array}$$

• 对偶形式的基本想法是, 将 $w$ 和 $b$ 表示为实例 $x_i$ 和标记 $y_i$ 的线性组合的形式, 通过求解其系数而求得 $w$ 和 $b$ 。不失一般性, 在算法 $2.1$ 中可假设初始值 $w_0,b_0$ 均为 0 。对误分类点 $\left(x_i,y_i\right)$ 通过
  $$\begin{array}{rl}w& \leftarrow w+\eta y_i{x}_i\\ b& \leftarrow b+\eta y_i\end{array}$$
  逐步修改 $w,b$, 设修改 $n$ 次, 则 $w,b$ 关于 $\left(x_i,y_i\right)$ 的增量分别是
  $${\alpha }_i{y}_i{x}_i$$

  和
  $${\alpha }_i{y}_i$$

  ,这里 ${\alpha }_i=n_i\eta$. 这样, 从学习过程不难看出, 最后学习到的 $w,b$ 可以分别表示为
  $$\begin{array}{c}w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ b=\sum _{i=1}^N{\alpha }_i{y}_i\end{array}$$
  这里, ${\alpha }_i⩾0,i=1,2,\cdots ,N$, 当 $\eta =1$ 时, 表示第 $i$ 个实例点由于误分而进行更新的 次数。实例点更新次数越多, 意味着它距离分离超平面越近, 也就越难正确分类。换 句话说, 这样的实例对学习结果影响最大。

---

算法的收敛性

• 对于线性可分数据集感知机学习算法原始形式收敛, 经过有限次迭 代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型,即对于线性可分数据集，感知机学习算法一定可以得到一个存在的超平面$wx+b=0$可以把训练集完全分开，其中的$w$记为 $w_{opt}$,$b$记为$b_{opt}$,则分离超平面为
  $$w_{opt}x+b_{opt}=0$$
  将偏置 $b$ 并入权重向量 $w=(w_1,w_2,...,w_n)$(行向量), 记作
  $$\begin{array}{rl}\hat{w}& ={\left(w^{\mathrm{T}},b\right)}^{\mathrm{T}}\\ & =(w_1,w_2,...,w_n,b)\end{array}$$
  同样也将 输入向量$x=(x_1,x_2,...,x_n{)}^T$(列向量)加以扩充, 加进常数 1 , 记作
  $$\begin{array}{rlr}\hat{x}& =& {\left(x^{\mathrm{T}},1\right)}^{\mathrm{T}}\\ & =& (x_1,x_2,...,x_n,1{)}^T\end{array}$$
  综合
  $$\{\begin{array}{rl}\hat{w}& ={\left(w^{\mathrm{T}},b\right)}^{\mathrm{T}}\\ \hat{x}& ={\left(x^{\mathrm{T}},1\right)}^{\mathrm{T}}\end{array}$$

  这样, $\hat{x}\in {\mathbf{R}}^{n+1},\hat{w}\in {\mathbf{R}}^{n+1}$ 。显 然 $\hat{w}\cdot \hat{x}=w\cdot x+b$

• 定理 2.1 (Novikoff) 设训练数据集 T = { ( x i , y i ) } i = 1 N T=\left\{ (x_i,y_i)\right\}_{i=1}^N T={(xi​,yi​)}i=1N​ 是线 性可分的, 其中 x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , ⋯   , N x_{i} \in \mathcal{X}=\mathbf{R}^{n}, y_{i} \in \mathcal{Y}=\{-1,+1\}, i=1,2, \cdots, N xi​∈X=Rn,yi​∈Y={−1,+1},i=1,2,⋯,N, 则
  (1) 存在满足条件 $\Vert {\hat{w}}_{\mathrm{opt}}\Vert =1$ 的超平面 ${\hat{w}}_{\mathrm{opt}}\cdot \hat{x}=w_{\mathrm{opt}}\cdot x+b_{\mathrm{opt}}=0$ 将训练数 据集完全正确分开; 且存在 $\gamma >0$, 对所有 $i=1,2,\cdots ,N$
  $$y_i\left({\hat{w}}_{\mathrm{opt}}\cdot {\hat{x}}_i\right)=y_i\left(w_{\mathrm{opt}}\cdot x_i+b_{\mathrm{opt}}\right)⩾\gamma$$
  (2) 令 $R={\max }_{1⩽i⩽N}\Vert {\hat{x}}_i\Vert$, 则感知机算法 $2.1$ 在训练数据集上的误分类次数 $k$ 满足 不等式
  $$k⩽{\left(\frac{R}{\gamma }\right)}^2$$

• 定理证明：

  (1)、因为训练数据集是线性可分，所以存在$\Vert {\hat{w}}_{\mathrm{opt}}\Vert =1$的超平面 ${\hat{w}}_{\mathrm{opt}}\cdot \hat{x}=w_{\mathrm{opt}}\cdot x+b_{\mathrm{opt}}=0$可将训练数 据集完全正确分开, 那么对于任意样本实例$X_i$, $i=1,2,\cdots ,N$, 均有
  $$y_i\left({\hat{w}}_{\mathrm{opt}}\cdot {\hat{x}}_i\right)=y_i\left(w_{\mathrm{opt}}\cdot x_i+b_{\mathrm{opt}}\right)>0$$
  所以存在
  γ = min ⁡ i { w ^ o p t ⋅ x ^ i } = min ⁡ i { y i ( w o p t ⋅ x i + b o p t ) } \begin{aligned} \gamma&=\min _{i}\left\{ \hat{w}_{\mathrm{opt}} \cdot \hat{x}_{i} \right\}\\ &=\min _{i}\left\{y_{i}\left(w_{\mathrm{opt}} \cdot x_{i}+b_{\mathrm{opt}}\right)\right\} \end{aligned} γ​=imin​{w^opt​⋅x^i​}=imin​{yi​(wopt​⋅xi​+bopt​)}​
  即$\gamma$为所有实例中${\hat{w}}_{\mathrm{opt}}\cdot {\hat{x}}_i$最小的，有
  $$\begin{array}{rl}{y}_i\left({\hat{w}}_{\mathrm{opt}}\cdot {\hat{x}}_i\right)& =y_i\left(w_{\mathrm{opt}}\cdot x_i+b_{\mathrm{opt}}\right)⩾\gamma \\ \Rightarrow y_i\left({\hat{w}}_{\mathrm{opt}}\cdot {\hat{x}}_i\right)& \ge \gamma \end{array}$$

  (2)、 感知机算法从 ${\hat{w}}_0=0$ 开始, 如果实例被误分类, 则更新权重。令 ${\hat{w}}_{k-1}$ 是第 $k$ 个误分类实例之前的扩充权重向量, 即
  $${\hat{w}}_{k-1}={\left(w_{k-1}^{\mathrm{T}},b_{k-1}\right)}^{\mathrm{T}}$$
  则第 $k$ 个误分类实例的条件是
  $$y_i\left({\hat{w}}_{k-1}\cdot {\hat{x}}_i\right)=y_i\left(w_{k-1}\cdot x_i+b_{k-1}\right)⩽0$$
  若 $\left(x_i,y_i\right)$ 是被 ${\hat{w}}_{k-1}={\left(w_{k-1}^{\mathrm{T}},b_{k-1}\right)}^{\mathrm{T}}$ 误分类的数据, 则 $w$ 和 $b$ 的更新是
  $$\{\begin{array}{rl}{w}_k& \leftarrow w_{k-1}+\eta y_i{x}_i\\ b_k& \leftarrow b_{k-1}+\eta y_i\end{array}$$
  即
  $$\begin{gathered} \{\begin{array}{rl}{w}_k& \leftarrow w_{k-1}+\eta y_i{x}_i\\ b_k& \leftarrow b_{k-1}+\eta y_i\\ \hat{w}& ={\left(w^{\mathrm{T}},b\right)}^{\mathrm{T}}\\ \hat{x}& ={\left(x^{\mathrm{T}},1\right)}^{\mathrm{T}}\end{array} \\ \begin{array}{rl}\Rightarrow {\hat{w}}_k& ={\left(w_k^{\mathrm{T}},b_k\right)}^{\mathrm{T}}\\ & ={\left((w_{k-1}+\eta y_i{x}_i{)}^T,(b_{k-1},\eta y_i)\right)}^T\\ & ={\left((w_{k-1}^T+\eta y_i{x}_i^T),(b_{k-1},\eta y_i)\right)}^T\\ & ={\left((w_{k-1}^T,b_{k-1})+(\eta y_i{x}_i^T,\eta y_i)\right)}^T\\ & ={\left((w_{k-1}^T,b_{k-1})+\eta y_i\cdot (x_i^T,1)\right)}^T\\ & =(w_{k-1}^T,b_{k-1}{)}^T+\eta y_i\cdot (x_i^T,1{)}^T\\ & ={\hat{w}}_{k-1}+\eta y_i{\hat{x}}_i\end{array} \end{gathered}$$
  下面推导两个不等式

  1. ${\hat{w}}_k\cdot {\hat{w}}_{\mathrm{opt}}⩾k\eta \gamma$
     $$\begin{array}{rl}{\hat{w}}_k\cdot {\hat{w}}_{\mathrm{opt}}& ={\hat{w}}_{k-1}\cdot {\hat{w}}_{\mathrm{opt}}+\eta y_i{\hat{w}}_{\mathrm{opt}}\cdot {\hat{x}}_i\end{array}$$
     由于
     $$y_i\left({\hat{w}}_{\mathrm{opt}}\cdot {\hat{x}}_i\right)\ge \gamma$$
     所以
     $$\begin{array}{rl}{\hat{w}}_k\cdot {\hat{w}}_{\mathrm{opt}}& ={\hat{w}}_{k-1}\cdot {\hat{w}}_{\mathrm{opt}}+\eta y_i{\hat{w}}_{\mathrm{opt}}\cdot {\hat{x}}_i\\ & ⩾{\hat{w}}_{k-1}\cdot {\hat{w}}_{\mathrm{opt}}+\eta \gamma \\ & ⩾{\hat{w}}_{k-2}\cdot {\hat{w}}_{\mathrm{opt}}+2\eta \gamma \\ & ⩾\cdots \\ & ⩾k\eta \gamma \end{array}$$

  2. ${\Vert {\hat{w}}_k\Vert }^2⩽k{\eta }^2{R}^2$
     { γ ≤ y i ( w ^ o p t ⋅ x ^ i ) w ^ k = w ^ k − 1 + η y i x ^ i ∥ a + b ∥ 2 = ( a + b ) T ⋅ ( a + b ) = ∥ a ∥ 2 + 2 a b + ∥ b ∥ 2 R = max ⁡ 1 ≤ i ≤ n ∥ x x ^ i ∥ ⇒ ∥ w ^ k ∥ 2 = ∥ w ^ k − 1 + η y i x ^ i ∥ 2 = ∥ w ^ k − 1 ∥ 2 + 2 η y i w ^ k − 1 ⋅ x ^ i + η 2 ∥ x ^ i ∥ 2 ∵ y i ∈ { − 1 , 1 } , 对误分类点， y i = − 1 , ∴ 2 η y i w ^ k − 1 ⋅ x ^ i < 0 ⩽ ∥ w ^ k − 1 ∥ 2 + η 2 ∥ x ^ i ∥ 2 ⩽ ∥ w ^ k − 1 ∥ 2 + η 2 R 2 ⩽ ∥ w ^ k − 2 ∥ 2 + 2 η 2 R 2 ⩽ ⋯ ⩽ k η 2 R 2 \left\{ \begin{aligned} \gamma &\leq y_{i}\left(\hat{w}_{\mathrm{opt}} \cdot \hat{x}_{i}\right) \\ \hat{w}_k &= \hat{w}_{k-1}+\eta y_{i} \hat{x}_{i} \\ \|a+b\|^2 &= (a+b)^T\cdot(a+b)\\ &= \|a\|^2+2ab+\|b\|^2 \\ R &= \max_{1\leq i\leq n} \|x \hat{x}_i\| \end{aligned}\right. \\ \begin{aligned} \Rightarrow \quad \quad \quad \quad \left\|\hat{w}_{k}\right\|^{2} &=\|\hat{w}_{k-1}+\eta y_{i} \hat{x}_{i}\|^2 \\ &=\left\|\hat{w}_{k-1}\right\|^{2}+2 \eta y_{i} \hat{w}_{k-1} \cdot \hat{x}_{i}+\eta^{2}\left\|\hat{x}_{i}\right\|^{2} \\ \\ &\because y_i \isin \{-1,1\},对误分类点，y_i=-1,\therefore 2 \eta y_{i} \hat{w}_{k-1} \cdot \hat{x}_{i} < 0 \\ \\ & \leqslant\left\|\hat{w}_{k-1}\right\|^{2}+\eta^{2}\left\|\hat{x}_{i}\right\|^{2} \\ & \leqslant\left\|\hat{w}_{k-1}\right\|^{2}+\eta^{2} R^{2} \\ & \leqslant\left\|\hat{w}_{k-2}\right\|^{2}+2 \eta^{2} R^{2} \\ &\leqslant \cdots \\ & \leqslant k \eta^{2} R^{2} \end{aligned} ⎩ ⎨ ⎧​γw^k​∥a+b∥2R​≤yi​(w^opt​⋅x^i​)=w^k−1​+ηyi​x^i​=(a+b)T⋅(a+b)=∥a∥2+2ab+∥b∥2=1≤i≤nmax​∥xx^i​∥​⇒∥w^k​∥2​=∥w^k−1​+ηyi​x^i​∥2=∥w^k−1​∥2+2ηyi​w^k−1​⋅x^i​+η2∥x^i​∥2∵yi​∈{−1,1},对误分类点，yi​=−1,∴2ηyi​w^k−1​⋅x^i​<0⩽∥w^k−1​∥2+η2∥x^i​∥2⩽∥w^k−1​∥2+η2R2⩽∥w^k−2​∥2+2η2R2⩽⋯⩽kη2R2​

  结合这两个不等式
  $$\begin{gathered} \{\begin{array}{rl}{\hat{w}}_k\cdot {\hat{w}}_{\mathrm{opt}}& ⩾k\eta \gamma \\ {\Vert {\hat{w}}_k\Vert }^2& ⩽k{\eta }^2{R}^2\\ 柯西不等式:\alpha \cdot \beta & \le \Vert \alpha \Vert \cdot \Vert \beta \Vert \end{array} \\ \begin{array}{rl}\Rightarrow k\eta \gamma & ⩽{\hat{w}}_k\cdot {\hat{w}}_{\text{opt }}\\ & ⩽\Vert {\hat{w}}_k\Vert \Vert {\hat{w}}_{\text{opt }}\Vert \\ & =\Vert {\hat{w}}_k\Vert \\ & \because \Vert {\hat{w}}_{\text{opt }}\Vert =1,为了得到唯一超平面\\ \Rightarrow k\eta \gamma & =\Vert {\hat{w}}_k\Vert \\ & ⩽\sqrt{k{\eta }^2{R}^2}\\ \Rightarrow k& ⩽{\left(\frac{R}{\gamma }\right)}^2\end{array} \end{gathered}$$
  证明完毕

• 定理表明, 误分类的次数 $k$ 是有上界的, 经过有限次搜索可以找到将训练数据完 全正确分开的分离超平面。也就是说, 当训练数据集线性可分时, 感知机学习算法原 始形式迭代是收敛的，这里只证明原始形态的算法收敛性，与原始形态一样，对偶形式迭代也是收敛的，也存在多个解。但是感知机学习算法存在许多解, 这些解既依赖 于初值的选择, 也依赖于迭代过程中误分类点的选择顺序。为了得到唯一的超平面, 需要对分离超平面增加约束条件（比如约束平面法向量模长为1$\Vert {\hat{w}}_{opt}\Vert =1$）。 当训练集线性不可分时, 感知机学习算法不收敛, 迭代结果会发生震荡。

---