逻辑斯蒂回归原理（二分类、多分类）

逻辑斯蒂分布

逻辑斯蒂分布假设X是连续随机变量，且分布函数、密度函数如下：
$$\begin{gathered} F(x)=P(X⩽x)=\frac{1}{1+\exp (-(x-\mu )/\gamma )} \\ f(x)=F^{\prime }(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2} \end{gathered}$$
式子中$\mu$为位置参数，$\gamma >0$为形状参数。图像如下图所示：

上图的右边是分布函数$F(x)$，可以看到是S形的曲线，以点$(\mu ,\frac{1}{2})$为对称中心，当形状参数$\gamma$的值越小，曲线在对称点附近增长越快。

二项逻辑回归模型

二项逻辑回归模型是二分类模型，由条件概率P(Y|X)表示，条件概率分布如下：
$$\begin{gathered} P(Y=1|x)=\frac{\exp (w\cdot x+b)}{1+\exp (w\cdot x+b)} \\ P(Y=0|x)=\frac{1}{1+\exp (w\cdot x+b)} \end{gathered}$$
对于给定的x，可以求得$P(Y=1|x)$和$P(Y=0|x)$的概率，哪个概率大，就是哪个类别。为了方便，将全职向量和输入向量扩充，即$w=(w^{(1)},w^{(2)},...,w^{(n)},b),x=(x^{(1)},x^{(2)},...,x^{(n)},1)$。此时逻辑回归模型如下：
$$P(Y=1|x)=\frac{\exp (w\cdot x)}{1+\exp (w\cdot x)}\text{\hspace{1em}(1)}$$

$$P(Y=0|x)=\frac{1}{1+\exp (w\cdot x)}\text{\hspace{1em}(2)}$$

一个事件的几率是该事件发生与不发生的概率比值。即如果发生概率是p，那么该事件的几率为：$\frac{p}{1-p}$，该事件的对数几率或logit函数是：
$$logit(p)=log\frac{p}{1-p}\text{\hspace{1em}(3)}$$
对逻辑斯蒂回归而言，将式子(1)(2)代入(3)得：
$$log\frac{P(Y=1|x)}{1-P(Y=1|x)}=w\cdot x\text{\hspace{1em}(4)}$$
上面的式子表明输出Y=1的对数几率是输入x的线性函数。

由式子(1)知可以将线性函数$w\cdot x$转换为概率：
$$P(Y=1|x)=1+ex$$