机器学习(二)线性模型---LR

机器学习(二)线性模型—LR

2.2 LR
  2.2.1 基础
  LR是一种二分类模型，属于线性模型的一种，是广义线性分类模型，采用极大似然估计，具有概率可解释性
  条件概率：

$$P(y=1|x)=\sigma(w\cdot x)\tag{14}$$
$$P(y=0|x)=1-\sigma(w\cdot x)\tag{15}$$
  Logits/log odds，一件事发生与不发生的比率：
$$log\frac{p}{1-p}\tag{16}$$
  2.2.2 推导：
  似然函数：
$$\prod_{i=1}^N\sigma(w\cdot x_i)^{y_i}(1-\sigma(w\cdot x_i))^{1-y_i}\tag{17}$$
  对数似然函数：
$$\sum_{i=1}^Ny_ilog\sigma(w\cdot x_i)+(1-y_i)log(1-\sigma(w\cdot x_i))\tag{18}$$
  首先令 $w\cdot x_i+b=a$

dloss=∑i=1Nyiσ′(a)σ(a)da−(1−yi)σ