逻辑回归和多项逻辑回归

---

一、逻辑回归

逻辑回归模型

逻辑回归(Logistic Regression)是统计中经典的二分类算法，逻辑回归模型如下：
$$P(Y=1|x)=\frac{exp(w\cdot x)}{1+exp(w\cdot x)}\text{\hspace{1em}(1)}$$

$$P(Y=0|x)=\frac{1}{1+exp(w\cdot x)}\text{\hspace{1em}(2)}$$

其中，输入 x = { x ( 1 ) , x ( 2 ) , . . . , x ( n ) , 1 } x=\{x^{(1)},x^{(2)},...,x^{(n)},1\} x={ x(1),x(2),...,x(n),1}，输出$Y\in [0,1]$， w = { w ( 1 ) , w ( 2 ) , . . . , w ( n ) , b } w=\{w^{(1)},w^{(2)},...,w^{(n)},b\} w={ w(1),w(2),...,w(n),b}。对于给定的$x$，可以求条件概率$P(Y=1|x)$和$P(Y=0|x)$的值，逻辑回归比较两个结果的大小，将$x$分到概率值较大的一类。

将上面的（1）式进行变换有
$$P(Y=1|x)=\frac{exp(w\cdot x)}{1+exp(w\cdot x)}=\frac{1}{1+exp(-w\cdot x)}\text{\hspace{1em}(3)}$$
从（3）可以看出逻辑回归就是在线性回归的基础上加了个$sigmoid$函数($f(x)=1+e^{-}$