统计学习方法第二章笔记——感知机

2.1 感知机模型

　　感知器就是一个二类分类的线性分类模型，输入空间是实数特征向量，输出参数是{-1,+1}的二元结果集，从输入空间到输出空间的函数如下：

$$f(x)=sign(w^T x+b)$$
sign是符号函数，如果输入为正返回1，输入为负返回-1。感知机的几何解释是该函数是空间中的一个将正例与负例分开的超平面。

2.2 感知机学习策略

　　假设数据集是线性可分的，则其学习策略是训练集中的所有误分点距离超平面的距离之和：$-\dfrac{1}{||w||} \sum_{x_i∈M}y_i (w^T x_i+b)$，其中$M$是误分点集合。
不考虑$||w||$，则可以定义损失函数为：

$$L(w,b)=-\sum_{x_i∈M}y_i (w^T x_i+b)$$

2.3 感知机学习算法

2.3.1 算法描述
　　感知机的学习算法是对损失函数最小化的优化问题，如下：

$$min_{(w,b)}L(w,b)=-\sum_{x_i∈M}y_i (w^T x_i+b)$$
具体采用的方法是梯度下降法。梯度是对损失函数求偏导得出，结果如下：
$$∇_w L(w,b)=-\sum_{x_i∈M}y_i x_i$$ $$∇_b L(w,b)=-\sum_{x_i∈M}y_i$$
那么对w和b的更新即为：
$$w←w+ηy_i x_i$$ $$b←b+ηy_i$$
其中η是学习率。对于每个错误分类的点，按梯度下降法进行w和b的更新，直到所有点都被正确分类。
2.3.2 算法的收敛性
　　(1) $y_{n(t)} w_f^T x_{n(t)}≥min_{n}⁡y_n w_f^T x_n$导出 $w_t$不停接近 $w_f$
该公式表明，如果理想划分 $w_f^T$存在的话，那么在所有被错误划分的点中，存在一个离理想超平面最近的点 $x_n$，所以 $w_f^T w_{t+1}>w_f^T w_t+min_ny_n w_f^T x_n >w_f^T w_t$，说明 $w_t$不停接近 $w_f$。
　　(2) $||w_t ||$不会增长太快
将 $||w_{t+1} ||^2$拆分成 $w_t$的表达式，去掉中间的负项得 $||w_{t+1} ||^2≤||w_t ||^2+max_n||x_n ||^2$。可见其增长的最大速度是实例中范数最大的向量的范数。
　　(3)根据以上两式联合推导
$$1≥\dfrac{w_f^T w_t}{||w_f ||·||w_t ||}≥\sqrt{T} \dfrac{\rho}{R}$$
其中 $R=max_n||x_n ||^2 ，\rho=min_n\dfrac{y_n w_f^T x_n}{||w_f || }$。上述等式的左边与右边变型即得T的上界。
2.3.3 算法的对偶形式
暂未看懂，以后再补。