逻辑回归及梯度下降法

1 逻辑回归

1.1 原理过程

逻辑回归是一种二分类方法。

• 找到预测函数，一般表示为h函数，用来预测输入数据的判断结果：
  分类边界为线性边界时，预测函数为
  
  $h_{\theta }(x)$函数的值表示结果取1的概率。
• 找到损失函数，记为J(θ)函数，表示所有训练数据预测值和实际类别的偏差：
  基于最大似然估计，得到损失函数
  
  
• 找到J(θ)函数的最小值：
  根据梯度下降的公式，得到迭代公式
  因为式中α为一常量，所以1/m一般省略，所以最终的θ更新过程为：
  

2 梯度下降法

梯度下降法（gradient descent）是一种常用的一阶优化方法，是求解无约束优化问题最简单、最经典的方法之一。
求解目标函数J(θ)的最小值，梯度下降法公式：

梯度下降法包括批量梯度下降法和随机梯度下降法。批量梯度下降：每迭代一步，要用到训练集的所有样本。随机梯度下降：每迭代一步，用到训练集中的部分样本。

牛顿法是典型的二阶方法，其迭代轮数远小于梯度下降法，但其每轮迭代中涉及到海森矩阵的求逆，计算复杂度相当高。拟牛顿法是以较低的计算代价寻找海森矩阵的近似逆矩阵。
牛顿法迭代公式：

$H$