机器学习（一）逻辑回归

机器学习笔记（一）

回归可划分为：

（1）连续则是多重线性回归

（2）二项分布则是逻辑回归

（3）泊松分布则是泊松回归

（4）负二项分布则是负二项回归

通常使用逻辑回归来解决二分类的问题，逻辑回归也可以用作多分类，逻辑回归的线性预测输出：
$$\hat{y}=w^{T}x+b$$
逻辑回归要求输出在[0,1]之间，然而经过线性计算输出的是整个实数区间，因此我们引入sigmoid激励函数，让我们的输出限定在[0,1]之间，逻辑回归的预测输出：
$$\hat{y}=sigmoid(w^{T}x+b)=\sigma (w^{T}x+b)$$
对于单个样本而言，逻辑回归的表达式为：
$$\begin{gathered} z=w^{T}x+b \\ \hat{y}=a=\sigma (z) \\ L(a,y)=-(y\log (a)+(1-y)\log (1-a)) \end{gathered}$$
计算该逻辑回归的反向传播过程，即由Loss function计算参数w和b的偏导数。推导过程如下：
$$\begin{gathered} da=\frac{\partial L}{\partial a}=-\frac{y}{a}+\frac{1-y}{1-a} \\ dz=\frac{\partial L}{\partial z}=\frac{\partial L}{\partial a}.\frac{\partial a}{\partial z}=(-\frac{y}{a}+\frac{1-y}{1-a}).a(1-a)=a-y \\ dw=\frac{\partial L}{\partial w}=\frac{\partial L}{\partial z}.\frac{\partial z}{\partial w}=dz.x=x(a-y) \\ db=\frac{\partial L}{\partial b}=\frac{\partial L}{\partial z}.\frac{\partial z}{\partial b}=dz.1=a-y \end{gathered}$$
sigmoid数学表达式和函数曲线：
$$sigmoid=\frac{1}{1+e^{-z}}$$

*函数图像由geogebra图形计算器画出，下载地址：链接：https://pan.baidu.com/s/1ZL-v56mbe7-Kcpu38i3YLg 提取码：r56n

从函数曲线，我们不难看出sigmoid的值域范围[0,1]，当z越大，那么函数值越趋近于1，反之，当z越小，那么函数值越趋近于0，并且当z取到0时，函数值为0.5。通过以上我们可以看出逻辑回归用于概率预测和二分类是一个很好的选择。概率预测：函数的值域是[0,1]之间的数，刚好可以用来表示概率；二分类：当z=0是，函数的值为0.5，整个函数的值域为[0,1]，所以z=0时，刚好可以当作一个中间值，在猫狗分类中，只有两个类别，不是猫就是狗，我们假设函数值<0.5代表猫，可以把小于0.5的划分为0类，很容易可以得出函数值>=0.5代表狗,划分为1类。

我们对sigmoid求一阶导数可得：
$$\sigma (x)=\sigma (x)(1-\sigma (x))$$
sigmoid求导推导式如下：
$$\begin{gathered} sigmoid:s(x)=\frac{1}{1+e^{-x}} \\ 倒置函数：f(x)=\frac{1}{s(x)}=1+e^{-z} \\ 对f(x)求导得到s1： \\ {f}^{{}^{\prime }}(x)=(\frac{1}{s(x)}{)}^{{}^{\prime }}=-\frac{s^{{}^{\prime }(x)}}{s(x{)}^2} \\ 再对f(x)求导另外一种形式得到s2： \\ {f}^{{}^{\prime }}(x)=\frac{d}{dx}(1+e^{-z})=-e^{-x}=1-f(x)=1-\frac{1}{s(x)}=\frac{s(x)-1}{s(x)} \\ s1和s2代入消元可得： \\ {s}^{{}^{\prime }}(x)=s(x)(1-s(x)) \end{gathered}$$
*注：本文公式表达式均为LaTeX公式

在python可表示为：

import numpy as np
# activation function 
def sigmoid(z, derivative=False):
    sigmoid = 1.0/(1.0+np.exp(-z))
    if (derivative==True):
        return sigmoid * (1-sigmoid)
    return sigmoid

前向计算就是从输入到输出，由神经网络计算得到预测输出的过程；反向传播则相反，为输出到输入，对参数w和b计算梯度的过程。

二次代价函数（quadratic cost）：

$$J=\frac{1}{2n}\sum _x\Vert y(x)-a^L(x){\Vert }^2$$

其中，$J$表示代价函数，$x$表示样本，$y$表示实际值，$a$表示输出值，$n$表示样本的总数。

使用梯度下降法（Gradient descent）来调整权值参数的大小，权值$w$和偏置$b$的梯度推导如下：
$$\begin{gathered} \frac{\partial J}{\partial w}=(a-y){\sigma }^{\prime }(z)x \\ \frac{\partial J}{\partial b}=(a-y){\sigma }^{\prime }(z) \end{gathered}$$
在使用sigmoid函数的情况下, 初始的代价（误差）越大，导致训练越慢。

交叉熵代价函数（cross-entropy）：

$$J=-\frac{1}{n}\sum _x[y\ln a+(1-y)\ln (1-a)]$$

其中，$J$表示代价函数，$x$表示样本，$y$表示实际值，$a$表示输出值，$n$表示样本的总数。

使用梯度下降法（Gradient descent）来调整权值参数的大小，权值w和偏执项b的梯度推导如下：
$$\frac{\partial J}{\partial w_j}=\frac{1}{n}\sum _x{x}_j(\sigma (z)-y)，\frac{\partial J}{\partial b}=\frac{1}{n}\sum _x(\sigma (z)-y)$$
当误差越大时，梯度就越大，权值$w$和偏置$b$调整就越快，训练的速度也就越快。
二次代价函数适合输出神经元是线性的情况，交叉熵代价函数适合输出神经元是S型函数的情况。

为什么要二次代价函数不如交叉熵代价函数？？？

​ 通过$\frac{\partial J}{\partial w_j}$可知，权重和偏执的调整与${\partial }^{{}^{\prime }}z$没有关系，权重w的学习受到$\sigma (z)-y$的影响，也就是标签与输出的误差，更大的误差，会有更快的学习速度。当误差越大，梯度就越大，w和b就调整的越快，模型就收敛的越快；而二次代价函数权重受到${\partial }^{{}^{\prime }}z$的影响，w和b的梯度跟激活函数的梯度成正比，激活函数的梯度越大,那么w和b就调整的越快，模型就收敛的越快。

参考：

https://blog.youkuaiyun.com/red_stone1/article/details/77851177
https://blog.youkuaiyun.com/yqljxr/article/details/52075053