《机器学习》正则化的含义

 在线性回归和逻辑回归中，有时候为了获得更好的拟合效果，我们会引入特征值的多次项或者是复合项。

这些特征值未必是必要的，过多此类的特征值会引起回归函数的过拟合。

但若是特征值不足就会导致函数的欠拟合问题。

所以为了约束不相关项的系数theta，增加正则项。

对于logistic regression亦是在末尾添加这么一项。

他们确保了在拟合一些不那么必要的theta值时，使这些theta值趋与0。lambda越大，对这些theta值约束越严格。当lambda过于大时，几乎使所有的theta值为0.此时假设函数变为 h_x=theta_0。而theta_0因为是一个与特征值无关的常数项，所以它不需要正则化，所以从J=1开始取值。

其实最后一项对应的是模型的复杂度。根据奥卡姆剃刀原则，我们不仅需要训练误差小，还需要模型的复杂度小，所以将两项相加，使他们同时达到一个相对较小的值，避免二者其一过大另一项过小（直接导致过拟合或欠拟合）。