线性分类：感知机

线性分类

感知机

前提：线性可分

思想：错误驱动

模型：$f(x)=sign({\omega }^{T}x)$， D = { 被 错 误 分 类 的 样 本 集 合 } D=\{被错误分类的样本集合\} D={被错误分类的样本集合}

样本集： { ( x i , y i ) } i = 1 N \{(x_i,y_i)\}_{i=1}^N {(xi​,yi​)}i=1N​

策略： l o s s   f u n c t i o n ⇒ L ( ω ) = ∑ i = 1 N I { y i ω T x < 0 } loss\ function\Rightarrow L(\omega)=\sum_{i=1}^NI\{y_i\omega^Tx<0\} loss function⇒L(ω)=∑i=1N​I{yi​ωTx<0}，小于0表示分类错误

判断是否分类正确的表示：

易知$y_i{\omega }^{T}x<0$是一个关于$w$的一个连续函数(错误驱动思想就是不断的微小的调整$w$，以此来达到降低错误或者减少损失函数的数值)，所以可导，那么改写为：
$$lossfunction\Rightarrow L(w)=\sum _{x_i\subset D}-y_i{w}^T{x}_i$$
对$w$求导：${\nabla }_{w}L=-y_i{x}_i$

由梯度下降法有：
$$w^{t+1}=w^t-\lambda {\nabla }_{w}L=w^t+\lambda y_i{x}_i$$