机器学习之逻辑回归（logistic regression）

概述

• 逻辑斯蒂回归实质是对数几率回归（广义的线性回归），是用来解决分类问题的。
• 其中sigmoid用来解决二分类问题，softmax解决多分类问题，sigmoid是softmax的特殊情况。
• 数学建模直接针对分类可能性建模。
• 参数学习可用极大似然估计或贝叶斯估计，利用极大似然估计求得的目标函数与交叉熵损失一致。
• 梯度下降之sigmoid和softmax函数的求导。

---

一、基本的数学概念和推导

1. logistic函数（也叫logistic分布函数）

• logistic函数形如“S”,具体公式如下：
  $f(x)=\frac{L}{1+{e}^{-k(x-x_0)}}$
  其中：$x_0$代表中点，$L$代表函数的最大值，$k$代表曲线的陡度。
• 标准的logistic函数（即sigmoid函数），$x_0=0，k=1,L=1$，即：
  $f(x)=\frac{1}{1+{e}^{-x}}$
  

2.sigmoid函数

• 概念
  sigmoid是logistic函数的特例，如上所述，$x_0=0，k=1,L=1$时，logistic函数就退化为sigmoid函数。
  

  $$f(x)=\frac{1}{1+{e}^{-x}}$$

• 考察sigmoid函数的性质

  • 关于（0,0.5)中心对称
  • 值域：$f(x)\in$[0,1]
  • 梯度饱和：$x\to\infty,f(x)\to0$
  • 简单变形：
    $$f(x)=\frac{1}{1+{e}^{-x}}= \frac{e^x}{1+e^x}\\ \frac{e^x}{1+e^x} = 1- \frac{{e^-}^x}{1+{e^-}^x}\to f(x)=1-f(-x)$$
  • 导数
    $f^{'}(x)=f(x)\times(1-f(x)) \in[0,\frac{1}{4}]$，梯度饱和的原因。推导如下：
    $$\begin{aligned} f^{'}(x) & ={(\frac{1}{1+{e^-}^x})}^{'}\\ & =\frac{{e^-}^x}{(1+{e^-}^x)^2}\\ & =\frac{{e^-}^x}{1+{e^-}^x}\times\frac{1}{1+{e^-}^x}\\ & =\frac{1}{1+e^x}\times\frac{e^x}{1+e^x} (变形一)\\ & =f(x)\times(1-f(x)) \end{aligned}$$
• 应用
  
  • 神经网络中的激活函数
  • 分类问题：二项逻辑回归（sigmoid回归）

3.softmax函数

• 基本概念
  softmax也被称为指数规范函数，是logistic函数的泛化。通过把一个k维空间的向量$z$的值（具有任意性）压缩到另一个k维空间的向量$\sigma(z)$,它的每一个值都在(0,1)并且所有值的和为1（具有天然的概率分布的特性）,数学表示如下：
  $$\sigma:R^K\to\{z\in R^K|z_i\ge0,\sum\limits_{i=1}^Kz_i=1\} \\ \sigma(z_j)=\frac{e^{z_j}}{\sum\limits_{k=1}^Ke^{z_k}},j=1,2,...,K$$
  矩阵形式：
  $$\sigma(z) = \begin{bmatrix} \sigma(z_1) \\ \sigma(z_2) \\...\\\sigma(z_K) \end{bmatrix}\quad =\frac{1}{ \sum_{k=1}^{K}{e}^{z_k} }\begin{bmatrix}{e}^{z_1}\\{e}^{z_2}\\...\\{e}^{z_K}\end{bmatrix}\quad$$
  其中k=2即为sigmoid函数，具体推导见下文，主要利用了softmax函数的参数冗余的性质（令$z_1=0$）。
• 导数
  考察其中一维的输出$\sigma(z_i)$对于任意的输入$z_j$的情况，从而可以扩展到任意一维的导数。
  $$\begin{aligned} case1:i&=j\\ \frac{\partial \sigma(z_i)}{\partial z_j}&=\frac{e^{z_i} \sum_{k=1}^{K}{e}^{z_k}-(e^{z_i})^2}{{( \sum_{k=1}^{K}{e}^{z_k})}^2}\\ &=\frac{e^{z_i} \sum_{k=1}^{K}{e}^{z_k}}{{( \sum_{k=1}^{K}{e}^{z_k})}^2}-\frac{(e^{z_i})^2}{{( \sum_{k=1}^{K}{e}^{z_k})}^2}\\ &=\sigma(z_i)-\sigma(z_i)^2\\ &=\sigma(z_i)(1-\sigma(z_i))\\ case2:i&\ne j\\ \frac{\partial \sigma(z_i)}{\partial z_j}&=\frac{-e^{z_i} e^{z_j}}{{( \sum_{k=1}^{K}{e}^{z_k})}^2}\\ &=-\sigma(z_i)\sigma(z_j)\\ one case:\\ \frac{\partial \sigma(z_i)}{\partial z_j}&=\sigma(z_i)(\delta_{i,j}-\sigma(z_j)),i=j\to \delta_{i,j}=1\space else:\space\delta_{i,j}=0 \end{aligned}$$

---

二、二项逻辑回归（sigmoid回归）

1.回归与分类

逻辑回归是用来解决分类问题的，名称中的回归实质是对数几率回归的含义。

• 几率与对数几率
  几率（odds）即一件事发生的相对可能性。对于给定的x，分为正例的可能性为y则反例的可能性为1-y,有如下定义：
  $$odds=\frac{y}{1-y}\\ log \space odds = ln\frac{y}{1-y}$$
• 对数几率回归
  对于逻辑回归的模型$y=\frac{1}{1+e^{-w^Tx+b}}$，代入对数几率，则有：
  $$ln\frac{y}{1-y}=w^Tx+b$$
  即实质上是用右边的线性回归模型去拟合对数几率，因此也被称为对数几率回归。

2.二项逻辑回归的数学建模

• 分类模型（记sigmoid函数为$\theta$）
  

  $$\begin{aligned} p(Y=1|x) &= \theta(w^Tx+b) \\ p(Y=0|x) &= 1- \theta(w^Tx+b)\\ f(x)&=arg\max\limits_{y_i}p(y_i|x),y_i=0,1 \end{aligned}$$
  在给定的输入x下，上述两式分别求得Y=1和Y=0的概率，比较这两个概率值的大小，
  将x分类到概率值大的那一类。

• 参数学习
  建模之后，要解决的问题就是确定模型中的参数。

  • MLE（极大似然估计）
    假定随机变量不变，最大化似然函数对参数做出估计，简单介绍一下两种类型（连续和离散）的似然函数的求解方法。
    离散型：
    $L(\theta) = L(x1,x2,...,xn;\theta) = \prod_{i=1}^{n}p(xi;\theta)$
    连续性：
    $L(\theta) = L(x1,x2,...,xn;\theta) = \prod_{i=1}^{n}f(xi;\theta)$
    形式看起来特别像，都是累乘的形式，只不过离散的是分布的累乘，而连续的是概率密度的累乘。实际应用中，一般用到的是对数似然函数 ，就是利用到log函数的性质（和的对数等于对数的积），方便运算。
  • 二项逻辑回归的MLE
    $$\begin{aligned} 似然函数：l(w) &= \prod_{i=1}^{n}p(y_i|x_i,w)\\ 对数似然函数：logl(w) &= log \prod_{i=1}^{n}p(y_i|x_i) = \sum_{i=1}^{n}logp(y_i|x_i)\\ 对于二分类：p(yi|xi) &= {(p(y_i=1| x_i))^y}^i \times {(p(y_i=0| x_i))}^{1-y_i}\\ 推导：logl(w) &=\sum_{i=1}^{n}log[{(p(y_i=1| x_i))^y}^i \times {(p(y_i=0| x_i))}^{1-y_i}]\\ &=\sum_{i=1}^{n}log{(p(y_i=1| x_i))^y}^i+log {(p(y_i=0| x_i))}^{1-y_i}\\ &=\sum_{i=1}^{n}y_ilogp(y_i=1| x_i)+(1-y_i)log p(y_i=0| x_i)\\ &=\sum_{i=1}^{n}\sum_{k=0}^{1}p(y_i=k)logp(y_i=k|x_i)\\ &=\sum_{i=1}^{n}\sum_{k=0}^{1}I(y_i=k)log\sigma(y_i;x_i,w,b)（I为指示函数，y_i取对应类别时为1） \end{aligned}$$
    上述最后两步的推导需要注意，对于二分类问题，$y_i$取值为0或1，因此$p(y_i=k)$表示的是$y_i$取到对应的类别时为1，对于一个样本$y_i$只有一个取值，要不为0要不为1。上述的推导是成立的，为了统一表述的便利。
    此时我们的参数学习问题转化为这样的问题：求极大似然函数时对应的$W,b$。
  • 损失函数与交叉熵
    因为损失函数我们理解的是越小越好，因此这里这样定义成本函数：
    $$损失函数：J(y,\hat{y}) = -\frac{1}{n}logl(w,b)$$
    此时我们的参数学习问题也即优化问题转化为最小化这样的损失函数:$J(y,\hat{y}) = -\frac{1}{n}logl(w,b)$。
    这里引入交叉熵的概念:
    $$H(p,q)=-\sum\limits_xp(x)logq(x)$$
    其中p表示的是真实分布，q表示的是拟合分布，所以交叉熵衡量的是两个分布的拟合情况。对应到我们根据MLE求得的损失函数，二者是一致的。因此这里有这样的结论，逻辑回归的MLE确定的损失函数即是交叉熵损失函数，更一般地，对于对数似然都有这样的结论。
  • 梯度下降
    这里简单给出推导，后续写一个逻辑回归的代码。
    $$\begin{aligned} \frac{\partial J(W,b)}{\partial W}&=-\frac{1}{n}\sum\limits_i\frac{1}{\sigma(y_i;x_i)}\sigma(y_k;x_i)(\delta_{i,j}-\sigma(y_i;x_i))x_i（参考前面的softmax求导）\\ &=-\frac{1}{n}\sum\limits_i(\delta_{i,k}-\sigma(y_i;x_i))x_i\\ \frac{\partial J(W,b)}{\partial b}&=-\frac{1}{n}\sum\limits_i\delta_{i,k}-\sigma(y_i;x_i) (这里的\delta_{i,k}表示的是对于样本i是否被正确分类)\\ W - &= -\frac{\partial J(W,b)}{\partial W}\\ b - &= -\frac{\partial J(W,b)}{\partial b}(达到迭代伦次或者损失函数降到阈值以下停止) \end{aligned}$$

---

三、多项逻辑回归（softmax回归）

1.基本概念

• softmax回归其实是逻辑回归的一般化形式，是二项逻辑回归的扩展和泛化。
• 所以多项逻辑回归即softmax回归，用来处理多分类问题。

2.数学建模

• 分类模型
  $$p(y=j| X,W) = \frac{{e}^{X^T{w_{j}}}}{\sum_{k=1}^{K}{e}^{X^T{w_{k}}}}\\ p(y|x) = \begin{bmatrix} p(y=1|x) \\ p(y=2|x)\\...\\p(y=K|x) \end{bmatrix}\quad =\frac{1}{ \sum_{j=1}^{k}{e}^{x^T{w_{k}}}} \begin{bmatrix}{e}^{x^T{w_{1}}}\\{e}^{x^T{w_{2}}}\\...\\{e}^{x^T{w_{K}}}\end{bmatrix}\quad\\ f(x)=arg\max\limits_yp(y=k|x)$$
  这样理解建模的过程，和二项逻辑回归类似，通过softmax求得实例属于每个类别的概率，最终选择概率最大的那一类作为输出。
  换一种思路来理解，其实多项逻辑回归就是K个线性分类器再加上Softmax函数的非线性转换，最终映射到[0,1]区间的概率值，哪一个线性分类器对应的概率值大，输入就属于该分类！
• 多分类与二分类的关系
  下面通过对softmax推导，从数学的角度说明二分类与多分类的关系。
  softmax函数具有冗余性质：
  
  令$\psi=\theta_k$,则有：
  $$p(y_i=k|x_i,W)=\frac{1}{1+\sum\limits_{l=1}^{k-1}e^{W^Tx_l+b}}\\ p(y_i=j|x_i,W)=\frac{e^{W^Tx_j+b}}{1+\sum\limits_{l=1}^{k-1}e^{W^Tx_l+b}}\\ $$
  当k=2时，即为2分类问题，与二项逻辑回归的模型是一致的。
• 参数学习
  与二项逻辑回归类似，也可从MLE推导得到和交叉熵一致的损失函数。
  $$J(W,b)=-\frac{1}{n}\sum_{i=1}^{n}\sum_{k=1}^{K}I(y_i=k)logp(y_i|x_i,w,b)（I为指示函数，y_i取对应类别时为1）\\ 加入l2正则化： J(W,b)=-\frac{1}{n}\sum_{i=1}^{n}\sum_{k=1}^{K}I(y_i=k)logp(y_i|x_i,w,b)+\frac{\lambda}{2}\sum_{i=1}^{n}\sum_{k=1}^{K}||w_{i,j}||_2^2$$
• 梯度下降
  与二项逻辑回归的梯度下降类似：
  $$\begin{aligned} \frac{\partial J(W,b)}{\partial W}&=-\frac{1}{n}\sum\limits_i\frac{1}{\sigma(y_i;x_i)}\sigma(y_k;x_i)(\delta_{i,j}-\sigma(y_i;x_i))x_i（参考前面的softmax求导）\\ &=-\frac{1}{n}\sum\limits_i(\delta_{i,k}-\sigma(y_i;x_i))x_i\\ \frac{\partial J(W,b)}{\partial b}&=-\frac{1}{n}\sum\limits_i\delta_{i,k}-\sigma(y_i;x_i) (这里的\delta_{i,k}表示的是对于样本i是否被正确分类)\\ W - &= -\frac{\partial J(W,b)}{\partial W}\\ b - &= -\frac{\partial J(W,b)}{\partial b}(达到迭代伦次或者损失函数降到阈值以下停止) \end{aligned}$$

---

参考

1. 英文维基百科词条，losistic函数
2. 英文维基百科词条，sigmoid函数
3. 英文维基百科词条，softmax函数
4. 英文维基百科词条，交叉熵
5. 斯坦福大学深度学习教程，Softmax Regression
6. 周志华，机器学习
7. 李航，统计学习方法