Logistic回归

概念

• Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于二分类问题
• LR分类器适用数据类型：数值型和标称型数据。其优点是计算代价不高，易于理解和实现；其缺点是容易欠拟合，分类精度可能不高。
• 多维特征的训练数据进行LR时特征值必须做scale，确保特征的取值在相同的尺度内计算才会收敛。

模型

• 多元线性回归模型：$y={\theta }^{T}x$
• Logistic回归模型：
  
  其中
  
  多元线性模型严重受离群值影响，所以选择阈值变得很难
  Logistic回归模型因为sigmoid函数的引入解决了离群值问题，并且因为将值限定在0-1之间，可以引入概率，进而变成分类问题。

求解

• 最大似然估计
  $h_{\theta }(x)$函数的值表示结果为1的概率，就是特征属于$y=1$的概率。因此对于输入$x$分类结果为类别1和类别0的概率分别为:
  
  依据公式(1)得到预测正确的概率为：
  
  由于$y_1,y_2,\cdot \cdot \cdot ,y_n$各项独立，所以他们的联合分布为：
  
  对上式求对数：
  
  最大似然估计就是求使上式最大的$\theta$
  函数最优化的习惯是函数越小越好，所以在上式前边加上负号，则变成逻辑回归的损失函数，我们称之为交叉熵损失函数
• 梯度下降法
  在Andrew Ng的课程中，取$J(\theta )=-\frac{l(\theta )}{m}$（也可以不除m，相应的结果中去掉m即可），$J(\theta )$最小时的$\theta$为要求的最佳参数，通过梯度下降法求最小值，更新过程为：
  
  其中
  
  最终可化简为：
  
  其中$i$表示第$i$个统计样本，$j$表示第$j$个属性

优化