logistic回归

1. logistic分布

设 $X$ 是连续随机变量，$X$ 服从logistic分布是指 $X$ 具有下列分布函数和密度函数：$$\begin{array}{r}F(x)=P(X\le x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}\\ \\ f(x)=F^{{}^{\prime }}(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2}\end{array}$$式中，$\mu$ 为位置参数，$\gamma >0$ 为形状参数。其函数图像如下所示：

2. 二项logistic回归模型

二项logistic回归模型是如下的条件概率分布：
$$\begin{array}{r}P(Y=1|x)=\frac{e^{w\cdot x+b}}{1+e^{w\cdot x+b}}\\ \\ P(Y=0|x)=\frac{1}{1+e^{w\cdot x+b}}\end{array}$$这里，$x\in {\mathbb{R}}^n$ 是输入， Y ∈ { 0 , 1 } Y\in\{0,1\} Y∈{0,1} 是输出，$w\in {\mathbb{R}}^n$ 和 $b\in \mathbb{R}$ 是参数，$w$ 称为权值向量，$b$ 称为偏置，$w\cdot x$ 称为 $w$ 和 $x$ 的内积。

现再考察logistic回归模型的特点。一个事件的几率（odds）是指该事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率是 $p$，那么该事件的几率是$\frac{p}{1-p}$，该事件的对数几率（log odds）或logit函数是：$$logit(p)=\ln \frac{p}{1-p}$$对logistic回归而言，有$$logit(p)=\ln \frac{P(Y=1|x)}{1-P(Y=1|x)}=w\cdot x+b$$这就是说，在logistic回归模型中，输出$Y=1$ 的对数几率是输入 $x$ 的线性函数。或者说，输出 $Y=1$ 的对数几率是由输入 $x$ 的线性函数表示的模型，即logistic回归模型。

3. 模型参数估计

logistic回归模型学习时，对于给定的训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } \displaystyle T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中， x i ∈ R n , y i ∈ { 0 , 1 } x_i\in \R^n, y_i\in \{0,1\} xi​∈Rn,yi​∈{0,1}，可以应用极大似然估计法估计模型参数，从而得到logistic回归模型。

设：$$P(Y=1|x)=\pi (x),P(Y=0|x)=1-\pi (x)$$
其中，$\pi (x)=\frac{e^{w\cdot x+b}}{1+e^{w\cdot x+b}}$，则似然函数为$$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$对数似然函数为
$$\begin{array}{rl}L=& \sum _{i=1}^N[y_i\ln \pi (x_i)+(1-y_i)\ln (1-\pi (x_i)\left)\right]\\ & \\ =& \sum _{i=1}^N[y_i\ln \frac{\pi (x_i)}{1-\pi (x_i)}+\ln (1-\pi (x_i)\left)\right]\\ & \\ =& \sum _{i=1}^N[y_i(w\cdot x_i+b)-\ln (1+e^{w\cdot x_i+b})]\end{array}$$对 $L(w)$ 求极大值，即可得到$w$的估计值，一般采用梯度下降法。