逻辑回归掌握要点（全）

基于自己理解与ng老师的课程总结出来的LR
http://mooc.study.163.com/learn/2001281002?tid=2001392029#/learn/content?type=detail&id=2001702014&cid=2001693016

逻辑回归原理

  我们知道，线性回归模型是$\hat{y} = \theta x$

  但是线性回归无法用于分类，为了解决这个问题

  逻辑回归利用sigmoid函数对$\hat{y}$进行了改造

  PS: sigmoid函数是$\sigma(z)= \frac{1}{1+e^-z}$

  也就是说将线性回归输出的$\hat{y}$对应到了sigmoid函数中的$z$将原本的连续输出变成了分类

  z趋向于正无穷时，sigmoid趋向于1

  z趋向于负无穷时，sigmoid趋向于0

  sigmoid函数输出大于0.5，即输入$x\theta$ 大于0 则y = 1

  sigmoid函数输出小于0.5，即输入$x\theta$ 小于0 则y = 0

  并且越靠近临界点，分类的准确性会越低

  逻辑回归使用对数似然损失函数

逻辑回归的目标函数

  $\hat{y}= \theta x +b$,$a = \sigma(\hat{y})$

  目标函数为：$L(a,y) = - (ylog(a) + (1 - y)log(1-a))$

  a是预测值，y是真实标签的label

逻辑回归的迭代过程

  首先对$L(a,y)$进行求a的偏导$\frac{dL(a,y)}{da} = -\frac{y}{a} + \frac{1-y}{1-a}$

  PS: sigmoid函数有一个很好的导数性质便于我们使用
$\sigma'(\hat{y}) = \sigma(\hat{y})(1-\sigma(\hat{y}))$

  sigmoid函数$\sigma$进行对z的求导$\frac{d\sigma}{d\hat{y}} =\sigma(\hat{y})(1-\sigma(\hat{y}))$

  因为$a = \sigma(\hat{y})$所以$\frac{d\sigma}{d\hat{y}} = \frac{da}{d\hat{y}} = a(1-a)$

  $\frac{dL(a,y)}{dz} = \frac{dL(a,y)}{da} \cdot \frac{da}{d\hat{y}} = (-\frac{y}{a}+\frac{1-y}{1-a})\cdot\frac{da}{d\hat{y}} = a-y$

  再求$\frac{dz}{dw1} = x_1$ $\frac{dz}{dw2} = x_2$

  最后通过链式法则得到$\frac{dL(a,y)}{dw1} = x_1\cdot \frac{dL(a,y)}{d\hat{y}}$
  w1: = w1 - $\alpha\frac{dL(a,y)}{dw1}$
  $\alpha$为学习率

逻辑回归的损失函数的解释

  首先我们从逻辑回归模型的最大似然估计的角度出发，假设训练集都是独立同分布的条件下，将逻辑回归的结果用概率的方式表示出来

  if y = 1: $p(y|x) = \hat{y}$
  if y = 0: $p(y|x) = 1 - \hat{y}$

  然后将着两条式子拼起来 $p(y|x) = \hat{y}^{y} (1-\hat{y})^{(1-y)}$

  样本联合概率 $P(所有样本) = \prod_{i=1}^m\cdot p(y^i| x^i) = \prod_{i=1}^m\hat{y}^{y} (1-\hat{y})^{(1-y)}$

  做最大似然估计找到一组参数使得样本联合概率达到最大(最符合训练数据)

  在式子左右均取对数，因为样本联合概率最大化等价于取对数之后最大化

  $logP(所有样本)$

  $= \sum_{i=1}^m log p(y^i| x^i) = \sum_{i=1}^m (ylog\hat{y} + (1-y)log(1-\hat{y}))$

  我们目的是为了让这个logP(所有样本)最大化，但是损失函数是要让其最小化。

  所以在前加负值就是LR的损失函数
  $L(\hat{y}, y) = -\sum_{i=1}^m (ylog\hat{y} + (1-y)log(1-\hat{y}))$

为何使用逻辑对数损失函数?

  答：假如采用平方和损失函数是非凸函数，无法使用梯度下降法去求得全局最低点

  所以逻辑回归采用这个特殊的逻辑对数损失函数，是凸函数，可利用梯度下降法取得全局最低点

逻辑回归的成本函数

  成本函数：$J(w, b) = -\frac{1}{m}\sum_{i=1}^m (ylog\hat{y} + (1-y)log(1-\hat{y}))$

  $\frac{1}{m}$是为了计算方便，人为进行的缩放

损失函数的优化方法

  迭代尺度法, 梯度下降法，牛顿法或者拟牛顿法.牛顿法或者拟牛顿法一般收敛速度更快

LR为什么用sigmoid函数？？为什么

因为LR是伯努利分布，遵循广义线性分布，所以预测的输出的期望就是伯努利分布本身发生的概率，也就正好推出来sigmoid函数的形式