第六章 逻辑回归

逻辑回归 （Logistic regression）

一. 线性模型

线性模型试图学一个通过d个属性的线性组合来进行预测的函数

$$f(x) = w_1x_1+w_2x_2+...w_dx_d+b$$
$$f(x) = w^Tx+b$$
参数$w,b$学得之后，模型就得以确定。

线性回归

回归任务的损失函数——平方误差
数据集$D = {(x_1,y_1),(x_2,y_2),...(x_m,y_m)}$
$x$是一元 的，$f(x_i) = wx_i+b$

$$(w^*, b^*)= \mathop{\arg\min}_{w,b}\sum_{i=1}^m(f(x_i)-y_i)^2$$
$$= \mathop{\arg\min}_{w,b}\sum_{i=1}^m(y_i-wx_i-b)^2$$
$$= \mathop{\arg\min}_{w,b}E_{(w,b)}$$
基于平方误差最小化来进行模型的求解的方法称为最小二乘法
对$w,b$求导，令导数为0就得到最优解的闭式解
$$\frac{\partial E(w,b)}{\partial w}=2(w\sum_{i=1}^mx_i^2-\sum_{i=1}^m(y_i-b)x_i)$$
$$\frac{\partial E(w,b)}{\partial b}=2(mb-\sum_{i=1}^m(y-wx_i))$$
更一般的情况，样本x是由d个属性描述的，此时称为多元线性回归
$$f(X) = X w= \left[ \begin{matrix} x_1^{(1)} & x_1^{(2)} & \cdots & x_1^{(d)} &1 \\ x_2^{(1)} & x_2^{(2)} & \cdots & x_2^{(d)} &1 \\ \vdots & \vdots & \ddots & \vdots \\ x_m^{(1)} & x_m^{(2)} & \cdots & x_m^{(d)} &1 \\ \end{matrix} \right] \left[ \begin{matrix} w_1 \\ w_2 \\ \vdots \\ w_d \\ b \end{matrix} \right] \approx y= \left[ \begin{matrix} y_1 \\ y_2 \\ \vdots \\ y_m \end{matrix} \right]$$
平方误差
$$w^* = \mathop{\arg\min}_{w}(y-Xw)^T(y-Xw)$$
$$= \mathop{\arg\min}_{w}E_{(w)}$$
求导
$$\frac{\partial E(w)}{\partial w}=2X^T(Xw-y)$$
导数为0
$$2X^TXw=2X^Ty$$
$X^TX$为满秩矩阵（可逆矩阵）
$$w^* = (X^TX)^{-1}X^Ty$$

X 的列数大于行数，则$X^TX$不满秩 为什么？？

广义线性模型

线性回归模型

$$y = w^Tx+b$$
对数线性回归模型
$$lny=y^{'} = w^Tx+b$$
更一般地， $g(.)$单调可微。
$$y=g^{-1}(w^T,x+b)$$

二. 逻辑回归（对数几率回归）

逻辑回归是一个分类算法，因为它的原理里面却残留着回归模型的影子。（回归模型+logistic function）
在广义线性模型中我们得到回归模型产生的预测值$z=w^Tx+b$,
对于二分类任务只需要将z映射到$y \in \{0,1\}$。
逻辑回归就是用对数几率函数（logistic function）或者称sigmoid函数

$$y = \frac{1}{1+e^{-z}} = \frac{1}{1+e^{-(w^Tx+b)}}=\frac{e^{(w^Tx+b)}}{e^{(w^Tx+b)}+1}$$

预测结果z大于0，判为正例；小于0判为反例。（阶跃函数也可以办得到）
但是logistic function 单调可微，不仅仅预测出类别，还可以得到近似概率。
把$y$视为样本作为正例的可能性，则$1-y$是其反例的可能性。
$$P(y=1|x)=\frac{e^{(w^Tx+b)}}{e^{(w^Tx+b)}+1}$$
$$P(y=0|x)=\frac{1}{e^{(w^Tx+b)}+1}$$
定义对数几率为
$$log\frac{P(y=1|x)}{P(y=0|x)}=w^Tx+b$$
对数几率是输入x的线性函数

模型+策略+算法

二元的逻辑回归算法的模型是学习条件概率

$$P(y=1|x)=\frac{e^{(w^Tx+b)}}{e^{(w^Tx+b)}+1}$$
$$P(y=0|x)=\frac{1}{e^{(w^Tx+b)}+1}$$
策略：令每个样本属于其真实标记的概率越大越好，（似然函数最大化）
给定数据集$\{(x_i,y_i)\}_{i=1}^m$, 对数似然函数
$$l(w,b) = \sum_{i=1}^m lnp(y_i|x_i;w,b)$$
算法：
为方便表示，$(w,b)$其实可以表示在一起,见上多元线性回归公式部分$w=(w;b);x=(x,1)$
令
$$P(y=1|x) =\pi(x) ,P(y=0|x) =1-\pi(x)$$
则
$$p(y_i|x_i;w) = \pi(x)^{y_i}(1-\pi(x))^{1-y_{i}}$$
重写对数似然函数

$$l(w) = \sum_{i=1}^mlnp(y_i|x_i;w)$$
$$=\sum_{i=1}^mln[ \pi(x)^{y_i}(1-\pi(x))^{1-y_{i}}]$$
$$= \sum_{i=1}^m[y_iln\pi(x_i)+(1-y_i)ln(1-\pi(x_i))]$$
$$= \sum_{i=1}^m[y_iln\frac{\pi(x_i)}{1-\pi(x_i)}+ln(1-\pi(x_i))]$$
$$= \sum_{i=1}^m[y_i(w^Tx_i)-ln(1+e^{w^Tx_i})]$$
求梯度
$$\frac{\partial L}{\partial w}= \sum_{i=1}^my_ix_i^T-\frac{e^{w^Tx_i}}{1+e^{w^Tx_i}} x_i^T$$
$$=\sum_{i=1}^m(y_i-\pi(x_i))x_i^T$$
更新公式
$$w = w-\eta\sum_{i=1}^m(y_i-\pi(x_i))x_i^T$$

梯度下降 更新公式 。。。收敛得到的解是最优解，因为目标函数是凸的
多项逻辑回归 多分类。。。

参考文献
【1】周志华 《机器学习》