机器学习-Logistic Regression

逻辑斯蒂回归是统计学习中的经典分类方法。
逻辑回归可以分为二项逻辑回归和多项逻辑回归。我们主要讲解二项逻辑回归。
假设输入$x\in \mathbf{R}^{n},Y\in \{ 0,1\}$， 则二项逻辑回归可以表示为

$$P(Y=1|x)=\frac{exp(w \cdot x + b)}{1 +exp(w \cdot x +b ) }$$
$$P(Y=0|x) = \frac{1}{1 +exp( w \cdot x +b) }$$
其中，$w= (w^{(1)},w^{(2)},\cdots,w^{(n)})^T$， b 为偏置。
为了讨论的方便，我们将权值向量和输入向量加以扩充$w= (w; b) =(w^{(1)},w^{(2)},\cdots,w^{(n)}, b)^T$, $x = (x; 1) = (x^{(1)},x^{(2)},\cdots,x^{(n)}, 1)^T$, 则有$w \cdot x +b =w^T x$
上式可以重写为
$$P(Y=1|x)=\frac{exp(w^T x )}{1 +exp(w^T x) }$$
$$P(Y=0|x) = \frac{1}{1 +exp( w^T x ) }$$

现在考察逻辑回归模型的特点。一个事件的几率(odds)是指该事件发生的概率与该事件不发生的概率的比值。如果时间发生的概率为p，那么该事件的几率是$\frac{p}{1-p}$，该事件的对数几率或logit函数是

$$logit (p)=\log \frac{p}{1-p}$$
对逻辑回归而言，其对数几率为
$$\ln\frac{P(Y=1|x)}{P(Y=0|x)}=w\cdot x =w^Tx$$
这就是说，输出$Y=1$的对数几率是输入$x$的线性函数。

给定数据集$T={(x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m)}$， 我们讨论其极大似然函数。
首先， 记$P(Y=1|x) = h_{w}(x), P(Y=0|x)= 1- h_{w}(x)$
对于单点的0-1分布，其概率分布为$(h_{w}(x_i))^{y_i}(1-h_{w}(x_i))^{1-y_i}$, 则其似然函数为

$$L(w)=\prod\limits_{i=1}^{m}(h_{w}(x_i))^{y_i}(1-h_{w}(x_i))^{1-y_i}$$
其对数似然函数为
$$\begin{aligned} \ln L(w)&=\sum\limits_{i=1}^{m}[y_i \ln h_{w}(x_i) + (1-y_i) \ln (1-h_{w}(x_i)) ] \\ &=\sum\limits_{i=1}^{m}[y_i \ln \frac{h_{w}(x_i)}{1-h_{w}(x_i)} + \ln (1- h_{w}(x_i))]\\ &=\sum\limits_{i=1}^{m}[y_i (w^T x) - \ln (1+ exp(w^T x))] \end{aligned}$$
对$\ln L(w)$求极大值，得到$w$的估计值。

接下来，我们从损失函数的角度考虑逻辑回归。
逻辑回归的损失函数为对数损失函数$L(Y,P(Y|X))=-\log P(Y|X)$，其中，$P(Y|X)$是在X的条件下，Y的分布函数。
单点$(x_i,y_i)$的$P(Y=y_i|X=x_i)=(h_{w}(x_i))^{y_i}(1-h_{w}(x_i))^{1-y_i}$，对数损失为

$$L(Y,P(Y|X))=-(y_i \ln h_{w}(x_i) + (1-y_i)\ln (1-h_{w}(x_i))$$
给定数据集$T={(x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m)}$,其经验风险函数为
$$\begin{aligned} R_{emp}&=-\frac{1}{m}\sum\limits_{i=1}^{m}(y_i \ln h_{w}(x_i) + (1-y_i)\ln (1-h_{w}(x_i))\\ &=-\frac{1}{m}\sum\limits_{i=1}^{m}[y_i \ln \frac{h_{w}(x_i)}{1-h_{w}(x_i)} + \ln (1- h_{w}(x_i))]\\ &=-\frac{1}{m}\sum\limits_{i=1}^{m}[y_i (w^T x) - \ln (1+ exp(w^T x))] \end{aligned}$$

比较经验风险函数和对数似然函数可以发现，两者只是一个常系数和符号不同。所以极大化似然函数，就是极小化经验风险函数。

接下来求梯度下降法的迭代公式。
迭代的一般公式为 $w^{t+1}= w^{t}- \alpha \frac{\partial J(w)}{\partial w}$，其中 $\alpha$ 为学习步长。
令$J(w)=-\frac{1}{m}\sum\limits_{i=1}^{m}(y_i \ln h_{w}(x_i) + (1-y_i)\ln (1-h_{w}(x_i))$
首先，讨论一下sigmoid函数的倒数。假设$f(z)=\frac{1}{1+exp(-z)}$, 则

$$\frac{\partial f(z)}{\partial z}=\frac{e^z}{(1+e^z)^2}=\frac{e^z}{1+e^z}\frac{1}{1+e^z}=f(z)(1-f(z))$$
令$z=w^T x$, 则有
$$\frac{\partial f(x)}{\partial w}=f(x)(1-f(x))\frac{\partial z}{\partial w}=f(x)(1-f(x))\frac{\partial w^Tx}{\partial w}=f(x)(1-f(x))x$$
$\frac{\partial f(x)}{\partial w}$是一个列向量，$\frac{\partial f(x)}{\partial w}=(\frac{\partial f(x)}{\partial w_1}, \frac{\partial f(x)}{\partial w_2},\cdots, \frac{\partial f(x)}{\partial w_n})^T$

则$\frac{\partial J(w)}{\partial w}$如下

$$\begin{aligned} \frac{\partial J(w)}{\partial w} &= -\frac{1}{m}\sum\limits_{i=1}^{m}(\frac{y_i}{h_{w}(x_i)} \frac{\partial h_{w}(x_i)}{\partial w} - \frac{(1-y_i)}{1-h_{w}(x_i)} \frac{\partial h_{w(x_i)}}{\partial w})\\ &= -\frac{1}{m}\sum\limits_{i=1}^{m}(\frac{y_i}{h_{w}(x_i)} - \frac{(1-y_i)}{1-h_{w}(x_i)})\frac{\partial h_{w}(x_i)}{\partial w}\\ &= -\frac{1}{m}\sum\limits_{i=1}^{m}(\frac{y_i}{h_{w}(x_i)} - \frac{(1-y_i)}{1-h_{w}(x_i)})h_{w}(x_i)(1-h_{w}(x_i))x_i \\ &= -\frac{1}{m}\sum\limits_{i=1}^{m}(y_i(1-h_{w}(x_i)) - (1-y_i)h_{w}(x_i))x_i\\ &=-\frac{1}{m}\sum\limits_{i=1}^{m}(y_i - h_{w}(x_i)])x_i\\ &= \frac{1}{m}\sum\limits_{i=1}^{m}(h_{w}(x_i)-y_i)x_i \end{aligned}$$

所以，迭代公式为

$$w^{t+1}= w^{t} - \alpha \frac{1}{m}\sum\limits_{i=1}^{m}(h_{w}(x_i)-y_i)x_i$$ 。