Logistic回归详解

Logistic 回归

推导

数据说明

• 数据集： { ( x i , y i ) } i = 1 m \{(x_i, y_i)\}_{i=1}^m { (xi​,yi​)}i=1m​（$m$ 个样本）
• $x_i$ 可能是多维（假设有 $d$ 维）
• y i ∈ { 0 , 1 } y_i \in \{0,1\} yi​∈{ 0,1}

本质

• 用了一个数学性质优的 $Sigmoid$ 函数：$p=\frac{1}{1+e^{-({\omega }^{T}x+b)}}$，将线性回归 $y={\omega }^{T}x+b$ 与二分类任务 y ∈ { 0 , 1 } y\in\{0,1\} y∈{ 0,1} 联系起来，得到了 $p=\frac{1}{1+e^{-y}}$
• 通过梯度下降法得到参数 $\omega$ 和 $b$，代入要分类的样本 $x$，计算出对应的 $y$ 值（相当于该样本的类后验概率 $p(y=0|x)$，之后简称 $p^0$，对应的 $p^1=1-p^0$），并与阈值比较，完成分类

损失函数

对数损失

• 单个样本损失： c ( θ ) = { − l n ( p 0 ) , y = 1 − l n ( p 1 ) , y = 0 c(\theta)=\left\{ \begin{aligned} -ln(p^0), && y=1\\ -ln(p^1), && y=0 \end{aligned} \right. c(θ)={ −ln(p