Logistic 回归 损失函数推导及参数更新

Logistic 回归 损失函数推导及参数更新

Logistic 回归属于广义的线性模型，联系函数为sigmoid函数

广义的线性模型为$y=g({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)$,函数$g(.)$起到了将线性回归模型预测值和真实标记联系起来的作用，称为“联系函数”（link function）。使得$g^{-1}(y)$与${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$形成线性关系。

模型：
$$\begin{gathered} z={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b \\ y=\frac{1}{1+e^{-z}} \end{gathered}$$

损失函数推导：
采用极大似然估计来推导损失函数。
先写出正负样本的概率预测值：
$$\begin{array}{rl}p(y^{\ast }=1|\mathbf{x};\mathbf{w},b)& =y\\ p(y^{\ast }=0|\mathbf{x};\mathbf{w},b)& =1-y\end{array}$$
统一两个式子得到：
$$p(y^{\ast }|\mathbf{x};\mathbf{w},b)=y^{y^{\ast }}(1-y{)}^{1-y^{\ast }}$$
假设样本独立且同分布，要让对每个样本的概率值更接近其所属分类，列出极大似然函数：
L(w;b)=∏i=1mp(yi∗∣xi,w,b)=∏i=1myiyi∗(1−yi)1−yi∗ L(\boldsymbol{w};b) = \prod_{i=1}^{m}p(y_i^*|\boldsymbol{x_i}, \boldsymbol{w}, b) = \prod_{i=1}^{m}y_i^{y_i^*}(1-y_i)^{1-y_i^*} L(w;b)=i=1∏m​p(yi∗​∣xi​,w,b)=i=1∏m​yiy<