LR(逻辑回归)

一、假设函数 (Hypothesis)

就是在多元线性回归的基础上再加一个sigmod函数。
$y_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2....+{\theta }_i{x}_i$
$z_{\theta }(x)=\frac{1}{1+e^{-x}}$
综合以上两个公式：
$h_{\theta }(x)=\frac{1}{1+e^{-\theta x}}$

• 注意：如果把最后的激活函数替换成阶跃函数，逻辑回归就变成了感知器

二、损失函数

1.交叉熵损失函数

逻辑回归的损失函数不能采用平方差损失函数，因为逻辑回归的损失函数不是凸函数。
逻辑回归的损失函数采用交叉熵作为损失函数。
$L_{\theta }(x)=-\frac{1}{m}{\sum }_{i=1}^m(y^{i}log{h}_{\theta }(x^i)+(1-y{)}^{i}log(1-h_{\theta }(x^i)))$

2.交叉熵损失函数的推导

$\frac{\partial h_{\theta }(x)}{{\partial }_{\theta }}=\frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^i)-y^i)x^i$
所有逻辑回归的交叉熵损失函数的偏导数和多元线性回归的平方差损失的偏导数是一样的