统计学习模型——感知机模型

• 感知机学习的三要素：二分类的线性分类模型、误分类点到超平面的距离的最小化、基于随机梯度下降法的对损失函数的最优化

一、感知机模型(分类方法)

• 感知机是二分类的线性分类模型，属于判别模型。分为两种： 原始形式和对偶形式
  • 假设空间：函数集合 { f ∣ f ( x ) = w ⋅ x + b } \{f|f(x)=w\cdot x+b\} {f∣f(x)=w⋅x+b}
  • 通过训练数据集，即输入实例的特征向量和类别，求解模型参数$w、b$
  • 对于新的输入实例，输出其对应的类别，取值+1或-1

二、感知机学习策略

• 学习的目标：求得一个能够将训练数据集中正负实例点完全正确分开的超平面，即确定感知机模型参数$w、b$
• 学习策略：经验损失函数最小化
• 损失函数的选择：误分类点到超平面的总距离
• 感知机$sign(w\cdot x+b)$的损失函数：$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$其中$M$为误分类点的集合。

三、感知机学习算法

• 输入：训练数据集 T = { ( x 1 , y 1 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),\cdots,(x_N,y_N)\} T={(x1​,y1​),⋯,(xN​,yN​)}，其中$x_i\in \mathcal{X}={R\text{R}R}^n$， y i ∈ Y = { + 1 , − 1 } y_i\in\mathcal{Y}=\{+1,-1\} yi​∈Y={+1,−1}，$i=1,2,\cdots ,N$；学习率$\eta (0\le \eta \le 1)$
• 输出：$w,b$；感知机模型$f(x)=sign(w\cdot x+b)$
  • (1) 选取初值$w_0,b_0$
  • (2) 在训练集中选取数据$(x_i,y_i)$
  • (3) 如果$y_i(w\cdot x_i+b)\le 0$，则$$w\leftarrow w+\eta y_i{x}_i$$$$b\leftarrow b+\eta y_i$$
  • (4) 转至(2)，直至训练集中没有误分类点

四、感知机学习算法的对偶形式

• 基本思想：将$w$、$b$表示为实例$x_i$和标记$y_i$的线性组合的形式，通过求解其系数求得$w$、$b$
• 算法：
  • 输入：训练线性可分的数据集 T = { ( x 1 , y 1 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),\cdots,(x_N,y_N)\} T={(x1​,y1​),⋯,(xN​,yN​)}，其中$x_i\in {R\text{R}R}^n$， x i ∈ Y = { + 1 , − 1 } x_i\in\mathcal{Y}=\{+1,-1\} xi​∈Y={+1,−1}，$i=1,2,\cdots ,N$；学习率$\eta (0<\eta \le 1)$
  • 输出：$\alpha ,b$；感知机模型$f(x)=sign({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)$，其中$\alpha =({\alpha }_1,\cdots ,{\alpha }_N{)}^T$
    • (1) $\alpha \leftarrow 0，b\leftarrow 0$
    • (2) 在训练集中选取数据$(x_i,y_i)$
    • (3) 如果$y_i({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)\le 0$，则$${\alpha }_j\leftarrow {\alpha }_i+\eta$$$$b\leftarrow b+\eta y_i$$
    • (4) 转至(2)，直至训练集中没有误分类点
• 训练集中实例间的内积计算出来并以矩阵的形式存储，即$Gram$矩阵:$$G=[x_i\cdot x_j{]}_{N\times N}$$
  参考：《统计学习方法》李航著