逻辑回归原理和实践探究

逻辑回归原理和实践

逻辑回归解决的问题并不是回归问题，而是经典的二分类问题。其实分类和回归的本质并没有实质性的区别，原理是只要将回归任务用sigmoid函数将连续的值映射到0-1之间，然后添加一个阈值，就可以达到分类的任务。
在上一篇线性回归的博客中我们重点分析了其中的数学原理和理论实践，感兴趣的小伙伴可以参考一下，接下来我们在上一篇的基础上来探讨逻辑回归的相关数学原理和实际应用。
线性回归方程：
$$y=WX+b$$
sigmoid函数：
$$\sigma (z)=\frac{1}{1+exp(-z)}$$
函数图像如下：

我们将线性回归的方程代入到sigmoid函数：
$$\sigma (y)=\frac{1}{1+exp(-y)}$$
$$\sigma (WX+b)=\frac{1}{1+exp(-(WX+b))}$$
同样我们写成矩阵相乘的格式：
$$\sigma (W^{T}X)=\frac{1}{1+exp(-W^{T}X)}$$
假设成二分类任务：
$$P(y=1|X;W)=\sigma (W^{T}X)=h_W(X)$$
$$P(y=0|X;W)=1-\sigma (W^{T}X)=1-h_W(X)$$
上述表达式是为了使正样本与负样本的概率和为1.
整合得：
$$P(y|X;W)=h_W(X{)}^y(1-h_W(X){)}^{1-y}$$
引入似然函数：
$$L(w)=\prod _{i=0}^{n}p(y_i|x_i;w)=\prod _{i=1}^n{h}_W(x_i{)}^y(1-h_W(x_i){)}^{1-y}$$
对数似然：
$$l(w)=logL(w)=\sum _{i=1}^n(y_{i}log{h}_W(x_i)+(1-y_i)log(1-h_W(x_i)))$$
在原始的公式中加入$-1/n$变成求解梯度下降的问题，推导过程如下：

其中$j$表示第$j$个特征的权重.