统计学习方法——逻辑斯谛回归（logistic回归）

一、逻辑斯谛分布

设$X$是连续随机变量，$X$服从逻辑斯谛分布是指$X$具有下列分布函数和密度函数：$$F(x)=P(X\le x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}$$$$f(x)=F^{{}^{\prime }}(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2}$$其中，$\mu$为位置参数，$\gamma >0$为形状参数，且曲线以点$(\mu ,\frac{1}{2})$为中心对称。

二、二项逻辑斯谛回归模型

• 二项逻辑斯谛回归模型是如下的条件概率分布：$$P(Y=1|x)=\frac{exp(\omega \cdot x+b)}{1+exp(\omega \cdot x+b)}$$$$P(Y=0|x)=\frac{1}{1+exp(\omega \cdot x+b)}$$其中， Y ∈ { 0 , 1 } Y\in\{0,1\} Y∈{0,1}是输出，$\omega$称为权值向量，$\omega \cdot x$为$\omega$和$x$的内积
• 逻辑斯谛回归模型分类的准则：比较两个条件概率值的大小，将实例$x$分到概率值大的那一类
• 将权值向量$\omega$和输入向量$x$进行扩充，仍记为$\omega$、$x$，即$\omega =(w^{(1)},w^{(2)},\cdots ,w^{(n)},b{)}^T$，$x=(x^{(1)},x^{(2)},\cdots ,x^{(n)},1{)}^T$，此时对应的逻辑斯谛回归模型为$$P(Y=1|x)=\frac{exp(\omega \cdot x)}{1+exp(\omega \cdot x)}$$$$P(Y=0|x)=\frac{1}{1+exp(\omega \cdot x)}$$

三、模型参数估计

对于给定的训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中 x i ∈ R n , y i ∈ { 0 , 1 } x_i\in R^n,y_i\in\{0,1\} xi​∈Rn,yi​∈{0,1}，可以通过极大似然估计法估计模型参数。
设：$$P(Y=1|x)=\pi (x)，P(Y=0|x)=1-\pi (x)$$对应的似然函数为$$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$对数似然函数为
$$\begin{array}{rl}L(\omega )& =\sum _{i=1}^N[y_{i}log\pi (x_i)+(1-y_i)log(1-\pi (x_i))]\\ & =\sum _{i=1}^N[y_{i}log\frac{\pi (x_i)}{1-\pi (x_i)}+log(1-\pi (x_i))]\\ & =\sum _{i=1}^N[y_i(\omega \cdot x_i)-log(1+exp(\omega \cdot x_i))]\end{array}$$
对$L(\omega )$求极大值，得到$\omega$的估计值

参考：《统计学习方法》李航著