正则化

过拟合的产生：噪声；复杂模型拟合数据
正则化----简单的模型来拟合复杂的数据
什么是正则化？—对它做一个限制，使其在一定 的范围内。
高次项是包含低次项的；w要尽可能的小
找最优解：就是找这个圆和之前的求解过程中相交的这个点。
正则化可能会导致误差大，但是泛化性能会好。
N：取平均 2:w^2中的2
landa/N:N可有可无，可以设置lamda=lamda/N
正则化圆的大小是由lamda决定的。

下面是Ridge回归

逻辑回归：1/（1+exp(-z))中z就是线性回归，可以在z中加入正则化----这就是penalty的来源