对数几率回归

对数几率回归（logistic regression），也常被叫做逻辑回归，用于分类任务当中。

优点：计算代价不高，易于理解和实现

缺点：容易欠拟合，分类精度可能不高

在使用线性模型进行二分类任务时，需要找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来，二分类任务中，输出非0即1，而线性模型则是连续的任意值，二者需要做映射，考虑亥维赛德阶跃函数(单位阶跃函数)：
$$f(x)=\{\begin{array}{ll}0& x<0\\ 0.5& x=0\\ 1& x>0\end{array}$$
但该函数不连续，在后续的处理中不是很合适，所以采用另一种近似阶跃函数的单调可微函数，对数几率函数（Sigmoid 函数）。
$$y=\frac{1}{1+e^{-z}}$$
将线性回归模型的结果z计算函数值g(z)，g(z)>0在分类为1，否则为0。

公式推导

假设z = Θ^Tx为线性回归模型
$$g(z)=\frac{1}{1+e^{-{\theta }^{T}x}}⟹\frac{1-g(z)}{g(z)}=1+e^{-{\theta }^{T}x}$$
假设g(z)是将样本分类为1的概率，则：
P { g ( z ) = 1 ∣ x ; θ } = 1 1 + e − θ T x = h θ ( x ) P { g ( z ) = 0 ∣ x ; θ } = e − θ T x 1 + e − θ T x = 1 − h θ ( x ) P\{g(z) = 1|x;\theta\} = \frac{1}{1+e^{-\theta^{T}x}} = h_\theta(x) \\ P\{g(z) = 0|x;\theta\} = \frac{e^{-\theta^{T}x}}{1+e^{-\theta^{T}x}} = 1-h_\theta(x) P{ g(z)=1∣x;θ}=1+e−θTx1​=hθ​(x)P{ g(z)=0∣x;θ}=1+e−θTxe−θTx​=1−hθ​(x)
构建损失函数：
L o s s ( h θ ( x ) , y ) = h θ ( x ) y ( 1 − h θ ( x ) ) 1 −