《李航 统计学习方法》学习笔记——第六章 Logistic 回归与最大熵模型

1. Logistic 回归模型

广义上的线性回归为：
$$f(x)=g^{-1}(\omega x^T+b)$$
其中g称为联系函数（应为连续函数且充分光滑），例如$ln$等。
当进行分类问题，线性回归产生的模型预测值为$z=\omega x^T+b$为实值，而y的取值为 { 0 , 1 } \{0,1\} { 0,1}，这是需要寻找一个联系函数使得z值转化为0/1值。

单位阶跃函数:
$$y=\{\begin{array}{cc}0& z<0\\ 0.5& z=0\\ 1& z>0\end{array}$$
该函数能够进行上述的转化，但是由于其不连续，所以不能作为联系函数。

于是这里引入对数几率函数（一种sigmoid函数），实现这样该转化过程。

logistic分布：设X连续随机变量符合logistic分布，则X的分布函数与密度函数为：
$$\begin{gathered} F(x)=P(X⩽x)=\frac{1}{1+e^{-x}} \\ f(x)=\frac{e^{-x}}{(1+e^{-x}{)}^2} \end{gathered}$$

logistic函数分布曲线为S曲线（sigmoid curve），且为凸函数（这点在数值优化中很重要），可以将z转化为接近0或1的y值，并且在z=0附近的变化速度块。
带入广义的线性函数模型中，由此得到函数
$$\begin{gathered} y=\frac{1}{1+e^{-(\omega x^T+b)}} \\ \ln \frac{y}{1-y}=\omega x^T+b \end{gathered}$$
这里定义几率（odds): 模型分类后，样本x被分为正例（如y=1）的个数与样本x被分为反例(如y=0)的个数之比。
$$odds=\frac{y}{1-y}$$
对数几率为几率的对数。
$$logit=\ln \frac{y}{1-y}$$
这里可以发现，对数几率与随机变量x为线性关系。
当用条件概率去理解该模型时，则可以得到二分logistic模型：
$$\begin{gathered} P(Y=1|x)=\frac{e^{\omega x^T+b}}{1+e^{(\omega x^T+b)}} \\ P(Y=0|x)=\frac{1}{1+e^{(\omega x^T+b)}} \end{gathered}$$
由此可见该函数特点：线性函数的值越接近正无穷，概率值就越接近1；线性函数的值越接近负无穷，概率值就越接近0

2. 模型参数估计

在估计$\omega ,b$参数的过程中，应用极大似然估计法
这里令$\omega =({\omega }^{(1)},{\omega }^{(2)},...,w^{(n)},b)$

所以最终问题转化为了求
$${\omega }^{\ast }=\arg \underset{\omega }{\max }L(\omega )$$
因为$L(\omega )$是关于$\omega$的高阶可导连续函数，根据凸优化理论，经典的数值优化算法如梯度下降法，改进的迭代尺度法（IIS），牛顿法，拟牛顿法都可以求其解。

2.1 梯度下降法求参

梯度下降法是一种常用的一阶优化方法，是求解无约束优化问题最简单，最简单的方法之一。

1. 首先对目标函数进行等价转换，更改为求极小值问题。
   $$\arg \underset{\omega }{\max }L(\omega )\Rightarrow \arg \underset{\omega }{\min }[-L(\omega )]$$
2. 取初值$w^{(0)}\in {\mathbb{R}}^n,k=0$。
3. 计算$L(w^{(k)})$。
4. 计算梯度$g_k=g(w^{(k)})$，若$||g_k||<\text{阈值}ϵ$，停止迭代，令$w^{\ast }=w^{(k)}$；否则，令$p_k=-g(w^{(k)})$，求步长${\lambda }_k$使得：
   $$L(w^{(k)}+{\lambda }_k{p}_k)=\underset{\lambda ⩾0}{\min }L(w^{(k)}+\lambda p_k)$$
5. 令$w^{(k+1)}=w^{(k)}+{\lambda }_k{p}_k$，计算$L(w^{(k+1)})$。
   若：
   $$||L(w^{(k+1)})-L(w^{(k)})||<ϵor||w^{(k+1)}-w^{(k)}||<ϵ$$
   则停止迭代，令$w^{\ast }=w^{(k+1)}$。
6. 否则，$k=k+1$，转（3）。
   因为目标函数为凸函数，因此可以保证其为全局最优解。
   
   缺点：该方法的收敛速度有时较慢。

2.2 牛顿法求参

牛顿法也是求解无约束最优化问题的常用算法，（因为利用了二阶导）有收敛速度快的优点。通过迭代，每一步需要求解目标函数的黑塞矩阵的逆矩阵，进行求参。

1. 首先对目标函数进行等价转换，更改为求极小值问题。
   $$\arg \underset{\omega }{\max }L(\omega )\Rightarrow \arg \underset{\omega }{\min }[-L(\omega )]$$
2. 取初值$w^{(0)}\in {\mathbb{R}}^n,k=0$。
3. 计算梯度$g_k=g(w^{(k)})$
4. 若$||g_k||<\text{阈值}ϵ$，停止迭代，令$w^{\ast }=w^{(k)}$。
5. 计算黑塞矩阵$H_k=H(x^{(k)})$,并求出$pk$:
   $$p_k=-H_k{g}_k$$

黑塞矩阵：
$$H(x)=[\frac{{\partial }^{2}f}{\partial x_i\partial x_j}{]}_{n\ast n}$$
函数f(x)有机制的必要条件是在极值点处的一阶导数为0，即梯度为0，特别是当$H(x^{(k)})$为正定矩阵时，函数f(x)的极值为极小值。

6. 令$w^{(k+1)}=w^{(k)}+p_k$。
7. 令$k=k+1$，转（3）。

缺点：在步骤（5）中由于要求$H^{-1}$计算复杂，耗费时间。

2.3 拟牛顿法求参

为了解决计算$H^{-1}$的复杂问题，考虑用一个n阶矩阵$G_k=G(x^{(k)})$来近似代替$H_k^{-1}=H^{-1}(x^{(k)})$.

2.3.1 算法DFP

该算法通过$G_{k+1}$替代$H^{-1}$，即满足拟牛顿条件：
$$G_{k+1}(g_{k+1}-g_k)=x^{(k+1)}-x^{(k)}$$

1. 首先对目标函数进行等价转换，更改为求极小值问题。
   $$\arg \underset{\omega }{\max }L(\omega )\Rightarrow \arg \underset{\omega }{\min }[-L(\omega )]$$
2. 选定初始点$w^{(0)}$,取 G 0 G_0 G