机器学习可分为线性模型和非线性模型两类,线性模型如最古老经典的感知机,逻辑回归(对数几率回归),Fisher判别分析,90年代一度独领风骚的支持向量机,本文将详解感知机。
感知机是现在NN的鼻祖,不过下面写的感知机是最原始的纯线性版本,没有加激活函数,即没有任何非线性元素被引入。
(1)模型
y=wTx+w0y=\boldsymbol{w}^T\boldsymbol{x}+w_0 y=wTx+w0
y是线性分界面,可以是二维平面的一根直线,或者三维空间的一个平面,更高维的线性分界面就被叫做超平面。因此线性模型只能一刀切,只能做二分类。
模型也可简化为:
y=(w′)Tx′y=(\boldsymbol{w'})^T\boldsymbol{x'}y=(w′)Tx′
w′=[ww0],x′=[x1]\boldsymbol{w'}=\left[ \begin{matrix} \boldsymbol{w} \\ w_0 \end{matrix} \right],\quad \boldsymbol{x'}=\left[ \begin{matrix} \boldsymbol{x} \\ 1 \end{matrix} \right]w′=[ww0],x′=