逻辑回归-概述与推导

1.概述

逻辑回归为分类模型，适用于二分类问题。思想基于线性回归，属于广义线性回归模型，其公式为：$h_{\theta }(x)=\frac{1}{1+e^{-z}}=\frac{1}{1+e^{-{\theta }^{T}x}}$，其中$z={\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n={\theta }^{T}x$。

LR算法即是将线性函数的结果映射到了sigmoid函数中。最终，大于0.5则判为1；小于0.5则判为0。

2.知识准备（关于sigmoid函数）

可以看到上述的预测公式，其中涉及到了sigmoid函数$f(x)=\frac{1}{1+e^{-x}}$，这个函数的作用是将实数域映射到(0, 1)区间上。对应的图像如下所示：

对于$f(x)=\frac{1}{1+e^{-x}}$而言，有$f^{\prime }(x)=(\frac{1}{1+e^{-x}}{)}^{\prime }=-(1+e^{-x}{)}^{-2}{e}^{-x}(-1)=\frac{e^{-x}}{(1+e^{-x}{)}^{-2}}=f(x)[1-f(x)]$。该结论一会在推导中需要使用~

3.算法推导

面试常常问到关于LR算法的推导，需要弄清楚。

假设数据集{ $x_i,y_i$}包含N个样本，$x_i$为第i个样本对应特征的向量（在此省略$x_{i(1)},x_{i(2)},...,x_{i(m)}$），m为特征个数，$y_i$为样本的真实类别，$h_{\theta }(x_i)$为模型输出结果，${\theta }^T{x}_i=z_i$。

此时，有预测函数：$h_{\theta }(x_i$