【逻辑回归】—— Logistic回归原理小结

逻辑回归：Logistic Regression(LR)

       一句话概括：逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。包含了5个点 1：逻辑回归的假设，2：逻辑回归的损失函数，3：逻辑回归的求解方法，4：逻辑回归的目的，5:逻辑回归如何分类。

       逻辑回归是一个经典的分类算法，并不是一个回归算法，它可以处理二元分类以及多元分类，个人认为由于逻辑回归的原理是由回归模型的演变而来的，因此含有“回归”二字，而逻辑回归与线性回归同属于广义线性模型种的一类。

广义线性模型分类：
根据因变量不同，常分为以下几类：

• 因变量是连续的：多元线性回归
• 因变量是二项分布：Logistic回归
• 因变量是Poission分布：Poission回归
• 因变量是负二项分布：负二项回归

1. 从线性回归到Logistic回归

       线性回归模型是求出输出变量 Y 和输入特征变量 X 之间的线性关系系数 θ，使其满足 Y = Xθ ，这里的 Y是连续型的，如果想要使 Y 是离散型的（分类变量），那么就需要对 Y 进行一次函数变换（映射 : g），得到的 g(Y)，使得当 g(Y) 值在某个实数区间时样本的输出值为一类别，而当在另一个实数区间时对应样本的输出值为另一类别，当只有两个类别时，就得到了一个二分类模型，我们就从线性模型过度到了Logistic回归模型。

Logistic回归的具体由来：
       Logistic回归是通过固有的logistic函数估计概率来衡量因变量和一个或多个自变量之间的关系，logistic函数也称为Sigmod函数，是一个S型曲线，它可以将任意实数值映射到（0,1）之间的值，然后用阈值分类器将0与1之间的值转换为分类变量。

• Logistic函数（或称为Sigmoid函数），函数形式为：
  $g(z)=\frac{1}{1+e^{-z}}$
  
• 由线性回归模型引出Logistic回归分类模型示意图：
  

2. 二元Logistic回归模型常规步骤：

• 寻找二元LR回归模型的预测函数 $h_{\theta }(x)$
• 构造二元LR回归模型的损失函数 $J(\theta )$
• 采用一定的算法求取回归参数 θ 使 $J(\theta )$ 函数取得最小值

2.1 寻找预测函数：$h_{\theta }(x)$

• Sigmod函数（单调可微函数）： $g(z)=\frac{1}{1+e^{-z}}$
  • Sigmod函数性质：
    
  • Sigmod函数导数性质：$g^{{}^{\prime }}(z)=g(z)(1-g(z))$
• 令 g(z) 中的 z 为：z = xθ，这样就得到了二元Logistic回归模型的一般形式：
  • $h_{\theta }(x)=\frac{1}{1+e^{-x\theta }}$
  • 假设：
    
• Logistic回归模型的矩阵形式：
  • $h_{\theta }(X)=\frac{1}{1+e^{-X\theta }}$
    • $h_{\theta }(X)$为模型输出值，mx1维向量；
    • X为样本特征矩阵，mxn维矩阵；
    • $\theta$为模型参数，nx1维向量；

2.2 构造损失函数：$J(\theta )$

        二元LR回归模型的预测函数建立好了，那么下面需要考虑采用什么方法来构建损失函数？这里我们采用常用的最大似然法来推导出损失函数。

• 假设我们的样本输出是0或者1两类，有：
  $P(y=1|x,\theta )=h_{\theta }(x)$
  $P(y=0|x,\theta )=1-h_{\theta }(x)$

  那么由上节假设及上式，我们可以得到y的概率分布函数：

  $P(y|x,\theta )=h_{\theta }(x{)}^y(1-h_{\theta }(x){)}^{1-y}$

• 下面就可以用最大似然函数法来求解模型系数θ，似然函数的代数表达式为：

• L ( θ ) = ∏ i = 1 m ( h θ ( x i ) ) y i ( 1 − h θ ( x i ) ) 1 − y i L(\theta) = \prod\limits_{i=1}^{m}(h_{\theta}(x_{i}))^{y_{i}}(1-h_{\theta}(x_{i}))^{1-y_{i}} L(θ)=i=1∏m​(hθ​(xi​))y