【李航统计学习笔记】第六章：Logistic regression

6.1 Logistic Regression

Logistic分布

回顾感知机：

$$f(x)=\mathrm{sign}(w\cdot x+b)$$

思考：

1. 只输出-1和+1是不是太生硬了？这样的判别方式真的有效吗？
2. 超平面左侧0.001距离的点和超平面右侧0.001距离的点真的有天壤之别吗？

感知机的缺陷：

1. 感知机通过梯度下降更新参数，但在 sign函数中， $x=0$ 是间断点，不可微。
2. 感知机由于sign不是连续可微的，因此 在梯度下降时脱去了壳子sign函数。

logistic regression定义：

$$\begin{array}{rl}& P(Y=1\mid x)=\frac{\exp (w\cdot x)}{1+\exp (w\cdot x)}\\ & P(Y=0\mid x)=\frac{1}{1+\exp (w\cdot x)}\end{array}$$

参数估计：

Logistic regression模型学习时，对于给定的训练数据集T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\right.\left.\left(x_{N}, y_{N}\right)\right\}T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中，xi∈Rn,yi∈{0,1}x_{i} \in \mathbf{R}^{n}, \quad y_{i} \in\{0,1\}xi​∈Rn,yi​∈{0,1}，可以应用极大似然估计法估计模型参数，从而得到logistic regression模型。

设：
$$P(Y=1\mid x)=\pi (x),P(Y=0\mid x)=1-\pi (x)$$
似然函数为:
$$\prod _{i=1}^N{\left[\pi \left(x_i\right)\right]}^{y_i}{\left[1-\pi \left(x_i\right)\right]}^{1-y_i}$$
对数似然函数为：
$$\begin{array}{rl}L(w)& =\sum _{i=1}^N\left[y_i\log \pi \left(x_i\right)+\left(1-y_i\right)\log \left(1-\pi \left(x_i\right)\right)\right]\\ & =\sum _{i=1}^N\left[y_i\log \frac{\pi \left(x_i\right)}{1-\pi \left(x_i\right)}+\log \left(1-\pi \left(x_i\right)\right)\right]\\ & =\sum _{i=1}^N[y_i\left(w\cdot x_i\right)-\log \left(1+\exp \left(w\cdot x_i\right)\right]\end{array}$$
对$L(w)$求极大值，得到$w$的估计值。

似然函数对$w$的求导：
$$\begin{array}{c}L(w)=\sum _{i=1}^N\left[y_i\left(w\cdot x_i\right)-\log \left(1+\exp \left(w\cdot x_i\right)\right)\right]\\ \frac{\partial L(w)}{\partial w}=y_i\cdot x_i-\frac{1}{1+\exp \left(w\cdot x_i\right)}\exp \left(w\cdot x_i\right)\cdot x_i=y_i\cdot x_i-\frac{x_i\cdot \exp \left(w\cdot x_i\right)}{1+\exp \left(w\cdot x_i\right)}\end{array}$$

总结：

1. 逻辑斯谛以输出概率的形式解决了极小距离带来的 + 1和-1的天壤之别。同时概率也可作为模型输出的置信程度。
2. 逻辑斯谛使得了最终的模型函数连续可微。训练目标与预测目标达成了一致。
3. 逻辑斯谛采用了极大似然估计来估计参数。

最大熵原理

什么是最大熵？

在我们猜测概率时，不确定的部分我们认为是等可能的，就好像骰子一样，我们知道有6个面，因此认为每个面的概率是 $1/6$ ，也就是等可能。
换句话说，就是趋向于均匀分布，最大熵使用的就是一个这么朴素的道理：凡是我们知道的，就把它考虑进去，凡是不知道的， 通通均匀分布。

最大熵模型

终极目标：
$$P(Y\mid X)$$
熵:
$$H(P)=-\sum _{x}p(x)\log P(x)$$
将终极目标代入熵：
$$H(P)=-\sum _{x}p(y\mid x)\log P(y\mid x)$$
做些改变，调整熵:
$$H(P)=-\sum _x\tilde{P}(x)p(y\mid x)\log P(y\mid x)$$

约束条件

特征函数
$$f(x,y)=\{\begin{array}{ll}1,& x\text{ 与 }y\text{ 满足某一事实 }\\ 0,& \text{ 否则 }\end{array}$$
特征函数$f(x,y)$关于经验分布$\tilde{P}(x,y)$的期望值：
$$E_{\tilde{p}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)=\sum _{x,y}\tilde{P}(x)\tilde{P}(y\mid x)f(x,y)$$
特征函数$f(x,y)$关于经验分布$P(x,y)$的期望值：
$$E_p(f)=\sum _{x,y}P(x,y)f(x,y)=\sum _{x,y}\tilde{P}(x)P(y\mid x)f(x,y)$$
约束:
$$E_{\tilde{p}}(f)=E_p(f)$$

$$\begin{array}{ll}{\max }_{P\in C}& H(P)=-{\sum }_{x,y}\tilde{P}(x)\tilde{P}(y\mid x)f(x,y)\\ \text{ s.t. }& E_{\tilde{p}}(f)-E_p(f)=0\\ & {\sum }_{y}P(y\mid x)=1\\ {\min }_{P\in C}& H(P)={\sum }_{x,y}\tilde{P}(x)\tilde{P}(y\mid x)f(x,y)\\ \text{ s.t. }& E_{\tilde{p}}(f)-E_p(f)=0\\ & {\sum }_{y}P(y\mid x)=1\end{array}$$

拉格朗日乘子法

$$\begin{array}{rl}L(P,w)\equiv & -H(P)+w_0\left(1-\sum _{y}P(y\mid x)\right)+\sum _{i=1}^n{w}_i\left(E_{\tilde{P}}\left(f_i\right)-E_P\left(f_i\right)\right)\\ =& \sum _{x,y}\tilde{P}(x)P(y\mid x)\log P(y\mid x)+w_0\left(1-\sum _{y}P(y\mid x)\right)\\ & +\sum _{i=1}^n{w}_i\left(\sum _{x,y}\tilde{P}(x,y)f_i(x,y)-\sum _{x,y}\tilde{P}(x)P(y\mid x)f_i(x,y)\right)\end{array}$$

$$\underset{P\in C}{\min }\underset{w}{\max }L(P,w)\to \underset{w}{\max }\underset{P\in C}{\min }L(P,w)$$

$$\begin{array}{rl}{P}_w(y\mid x)& =\frac{1}{Z_w(x)}\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\\ Z_w(x)& =\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\end{array}$$

总结

1. 最大熵强调不提任何假设，以熵最大为目标。
2. 将终极目标代入熵的公式后，将其最大化。
3. 在训练集中寻找现有的约束，计算期望，将其作为约束。使用拉格朗日乘子法得到 $p(y\mid x)$ ，之后使用优化算法得到 $p(y\mid x)$ 中的参数 $w$ 。

6.2 改进的尺度迭代法（IIS）

已知要解决的目标:
$$\begin{array}{rl}{P}_w(y\mid x)& =\frac{1}{Z_w(x)}\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\\ Z_w(x)& =\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\end{array}$$
所有的式子连乘取对数转换为似然函数为:
$$L(w)=\sum _{x,y}\left[\tilde{P}(x,y)\sum _{i=1}^n{w}_i{f}_i(x,y)\right]-\sum _x\left[\tilde{P}(x)\ln Z_w(x)\right]$$
IIS核心思想：每次增加一个量$\delta$， 使得$L(w+\delta )>L(w)$，以此不断提高$L$的值，直到达到极大值
$$L(w+\delta )-L(w)=\sum _{x,y}\left[\tilde{P}(x,y)\sum _{i=1}^n{w}_i{\delta }_i{f}_i(x,y)\right]-\sum _x\left[\tilde{P}(x)\ln \frac{Z_{w+\delta }(x)}{Z_w(x)}\right]$$
其中
$$\begin{array}{rl}\frac{Z_{w+\delta }(x)}{Z_w(x)}& =\frac{1}{Z_w(x)}\sum _y\exp \left(\sum _{i=1}^n\left(w_i+{\delta }_i\right)f_i(x,y)\right])\\ & =\sum _y\frac{1}{Z_w(x)}\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)\exp \left(\sum _{i=1}^n{\delta }_i{f}_i(x,y)\right)\\ & =\sum _{y}P(y\mid x)\exp \left(\sum _{i=1}^n{\delta }_i{f}_i(x,y)\right)\end{array}$$
所以
$$\begin{array}{rl}\mathrm{L}(w+\delta )-\mathrm{L}(w)& =\sum _{x,y}\left[\tilde{P}(x,y)\sum _{i=1}^n{w}_i{\delta }_i{f}_i(x,y)\right]-\sum _x\left[\tilde{P}(x)\ln \frac{Z_{w+\delta }(x)}{Z_w(x)}\right]\\ & \ge \sum _{x,y}\left[\tilde{P}(x,y)\sum _{i=1}^n{w}_i{\delta }_i{f}_i(x,y)\right]+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y\mid x)\exp \left(\sum _{i=1}^n{\delta }_i{f}_i(x,y)\right)\end{array}$$
又
$$\exp \left(\sum _{i=1}^n{\delta }_i{f}_i(x,y)\right)=\exp \left(\sum _{i=1}^n\frac{f_i(x,y)}{f^{\ast }(x,y)}{f}^{\ast }(x,y){\delta }_i\right)\le \sum _{i=1}^n\frac{f_i(x,y)}{f^{\ast }(x,y)}\exp \left({\delta }_i{f}^{\ast }(x,y)\right)$$

所以
$$\begin{array}{rl}L(w+\delta )-L(w)& =\sum _{x,y}\left[\tilde{P}(x,y)\sum _{i=1}^n{w}_i{\delta }_i{f}_i(x,y)\right]-\sum _x\left[\tilde{P}(x)\ln \frac{Z_{w+\delta }(x)}{Z_w(x)}\right]\\ & \ge \sum _{x,y}\left[\tilde{P}(x,y)\sum _{i=1}^n{w}_i{\delta }_i{f}_i(x,y)\right]+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y\mid x)\exp \left(\sum _{i=1}^n{\delta }_i{f}_i(x,y)\right)\\ & \ge \sum _{x,y}\left[\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)\right]+1-\sum _x\tilde{P}(x)\sum _v{P}_w(y\mid x)\sum _{i=1}^n\frac{f_i(x,y)}{f^{\ast }(x,y)}\exp \left({\delta }_i{f}^{\ast }(x,y)\right)\end{array}$$
我们令
$$\begin{array}{rl}& A(\delta \mid w)=\sum _{x,y}\left[\tilde{P}(x,y)\sum _{i=1}^n{w}_i{\delta }_i{f}_i(x,y)\right]+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y\mid x)\exp \left(\sum _{i=1}^n{\delta }_i{f}_i(x,y)\right)\\ & B(\delta \mid w)=\sum _{x,y}\left[\tilde{P}(x,y)\sum _{i=1}^n{\delta }_i{f}_i(x,y)\right]+1-\sum _x\tilde{P}(x)\sum _y{P}_w(y\mid x)\sum _{i=1}^n\frac{f_i(x,y)}{f^{\ast }(x,y)}\exp \left({\delta }_i{f}^{\ast }(x,y)\right)\end{array}$$
当$\delta =0$, 有
$$\begin{array}{rl}& A(\delta \mid w)=0\\ & B(\delta \mid w)=0\end{array}$$
所以
$$\begin{array}{rl}g\left({\delta }_i\right)& =\sum _{x,y}\tilde{P}(x)P_w(y\mid x)f_i\exp \left({\delta }_i{f}^{\ast }\right)-\mathrm{E}\tilde{P}\left(f_i\right)\\ g\left({\delta }_i\right)& =0\\ {\delta }_i^{(k+1)}& ={\delta }_i^{(k)}-\frac{g\left({\delta }_i^{(k)}\right)}{g^{\prime }\left({\delta }_i^{(k)}\right)}\end{array}$$
总结：

IIS找到了原优化目标的一个下界，通过不断提高下界以此提高目标优化。