逻辑回归（LR）总结

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/junxing2018_wu/article/details/117520184

逻辑回归（logistic regression）

性质

• 针对二分类问题
• 基于条件概率出发
• 线性回归函数（$y=w^{T}x+b$ 和 逻辑函数（$y=\frac{1}{1+e^{-x}}$）组合
• 是线性分类器（决策边界决定了LR是线性分类器）

计算过程

1. 对于二分类问题
   $$\begin{gathered} p(y=1|x,w)=\frac{1}{1+e^{-(w^{T}x+b)}} \\ p(y=0|x,w)=\frac{e^{-(w^{T}x+b)}}{1+e^{-(w^{T}x+b)}} \end{gathered}$$
   可以合并成：
   $$p(y|x,w,b)=p(y=1|x,w,b{)}^y[(1-p(y=1|x,w,b)){]}^{1-y}$$

2. 目标函数（objective function）
   假设我们拥有数据集$D={(x_i,y_i)}_{i=1}^n$，$x_i\in R^d$， y i ∈ { 0 , 1 } y_i \in \{0, 1\} yi​∈{0,1}
   此时我们需要最大化目标函数（最大似然估计MLE）：
   $$\begin{gathered} {\hat{w}}_{MLE},{\hat{b}}_{MLE}=argma{x}_{w,b}\prod _{i=1}^{n}p(y_i|x_i,w,b) \\ =argma{x}_{w,b}\sum _{i=1}^{n}log(p(y_i|x_i,w,b)) \\ =argmi{n}_{w,b}-\sum _{i=1}^{n}log(p(y_i|x_i,w,b)) \\ =argmi{n}_{w,b}-\sum _{i=1}^{n}log(p(y_i=1|x,w,b{)}^{y_i}[(1-p(y_i=1|x,w,b)){]}^{1-y_i}) \\ =argmi{n}_{w,b}-(\sum _{i=1}^n{y}_i\cdot log(p(y_i=1|x,w,b))+(1-y_i)\cdot log(1-p(y_i=1|x,w,b))) \\ =argmi{n}_{w,b}-(\sum _{i=1}^n{y}_i\cdot log(\sigma (w^{T}x+b))+(1-y_i)\cdot log(1-\sigma (w^{T}x+b))) \end{gathered}$$
   记 $L(w,b)=-({\sum }_{i=1}^n{y}_i\cdot log(\sigma (w^{T}x+b))+(1-y_i)\cdot log(1-\sigma (w^{T}x+b)))$，
   则 $$\begin{gathered} \frac{\partial L(w,b)}{\partial w}=-(\sum _{i=1}^n{y}_i\cdot \frac{\sigma (w^{T}x+b)\cdot [1-\sigma (w^{T}x+b)]}{\sigma (w^{T}x+b)}\cdot x_i+(1-y_i)\cdot \frac{-\sigma (w^{T}x+b)\cdot [1-\sigma (w^{T}x+b)]}{1-\sigma (w^{T}x+b)}\cdot x_i) \\ =-\sum _{i=1}^n{y}_i\cdot (1-\sigma (w^{T}x+b))\cdot x_i+(y-1)\cdot \sigma (w^{T}x+b)\cdot x_i) \\ =-\sum _{i=1}^n[y_i-\sigma (w^{T}x+b)]\cdot x_i \\ =\sum _{i=1}^n[\sigma (w^{T}x+b)-y_i]\cdot x_i \end{gathered}$$
   $$\begin{gathered} \frac{\partial L(w,b)}{\partial b}=-(\sum _{i=1}^n{y}_i\cdot \frac{\sigma (w^{T}x+b)\cdot [1-\sigma (w^{T}x+b)]}{\sigma (w^{T}x+b)}+(1-y_i)\cdot \frac{-\sigma (w^{T}x+b)\cdot [1-\sigma (w^{T}x+b)]}{1-\sigma (w^{T}x+b)}) \\ =-\sum _{i=1}^n{y}_i\cdot (1-\sigma (w^{T}x+b))+(y-1)\cdot \sigma (w^{T}x+b)) \\ =-\sum _{i=1}^n[y_i-\sigma (w^{T}x+b)] \\ =\sum _{i=1}^n[\sigma (w^{T}x+b)-y_i] \end{gathered}$$
   注释：

   1. ${\sigma (x)}^{\prime }=\sigma (x)(1-\sigma (x))$
   2. 最后那个表达式中，$\sigma (w^{T}x+b)$ 是预测值，$y_i$是真实值，所以这就意味着我们在梯度下降法的时候会不断地去观测当前样本的预测值和真实值，考虑它们之间的差别，然后通过这样的差别不断地更新$W$，使得最后学出一个很好的$w$和$b$，相当于预测值和真实值会不断接近。
   3. 注意，当给定的数据线性可分的时候，逻辑回归的参数有可能趋向于正无穷大。（过拟合现象，需要加上正则项）

3. 梯度下降法

   1. 初始化 $w^0$，$b^0$
   2. 设置 epoch num：$m$，learning rate：$\eta$
   3. t 从 0开始迭代到m，
      $w^{t+1}=w^t-\eta \cdot {\sum }_{i=1}^n[\sigma (w^{T}x+b)-y_i]\cdot x_i$
      $b^{t+1}=b^t-\eta \cdot {\sum }_{i=1}^n[\sigma (w^{T}x+b)-y_i]$
   4. 停止条件：
      • $\left|L_t(w,b)-L_{t+1}(w,b)\right|<ϵ$
      • $\left|w^t-w^{t-1}\right|<ϵ$
      • validation data(early stop)
      • fixed iteration(最大迭代次数)