逻辑斯谛回归(对数几率回归)

LR简介

逻辑斯谛回归是一种经典的线性分类方法，又被称为对数几率回归，其属于对数线性模型。

线性回归完成了数据的拟合，我们通过引入一个$sigmoid$函数，即可在线性回归模型的基础上实现分类。

sigmoid函数定义如下
$$y=\frac{1}{1+e^{-z}}$$

以二分类任务为例，取 y ∈ { 0 , 1 } y\in \{0,1\} y∈{ 0,1}，我们定义二项逻辑斯谛回归模型为如下条件概率分布：

$$\begin{gathered} P(Y=1|x)=\frac{\exp (w\cdot x+b)}{1+\exp (w\cdot x+b)} \\ P(Y=0|x)=\frac{1}{1+\exp (w\cdot x+b)} \end{gathered}$$

一个事件的几率是指该事件发生的概率与不发生的概率的比值，如果事件发生的概率为$p$，则该事件的几率为$\frac{p}{1-p}$，则该事件的对数几率即为：
$$\log \frac{p}{1-p}$$

考虑逻辑斯谛回归模型，
$$\log \frac{P(Y=1|x)}{1-P(Y=1|x)}=w\cdot x+b$$

也就是说，输出$Y=1$的对数几率是输入$x$的线性函数。

损失函数

对于给定的训练数据集，我们采用极大似然估计法来估计模型的参数，似然函数为：
$$\prod _{i=1}^N[P(y_i=1|x_i){]}^{y_i}[1-P(y_i=1|x_i){]}^{1-y_i}$$
对数似然函数为：
L ( w , b ) = ∑ i = 1 N [ y i log ⁡ P ( y i = 1 ∣ x i ) + ( 1 − y i ) log