线性回归和logistic回归

线性回归

多维梯度下降

Logistic regression

logistic regression梯度下降公式

logistic function 或者sigmoid function
$$g(z)=\frac{1}{1+e^{-z}}$$

过度拟合

过度拟合可以通过减少特征维度和加正则项来缓解。
可以在目标函数中加一关于模型复杂度的惩罚项来缓解过度拟合，称为正则化。

线性回归的正则化

为什么${\theta }_0$要单独列出来呢？
在线性回归中$$h_{\theta }(x^i)={\theta }_0+{\theta }_1{x}_1^{(i)}+{\theta }_2{x}_2^{(i)}+...+{\theta }_n{x}_n^{(i)}$$
我们加正则项的目的是让模型简单，让一些维度或者特征的系数趋于0，因此在梯度下降过程中，不对${\theta }_0$加以惩罚。

logistic regression的正则化