预测的两类核心算法

（1）解决函数逼近问题的两类算法：惩罚线性回归和集成方法。

（2）惩罚线性回归方法是由普通最小二乘法衍生的。

最小二乘法的一个根本问题就是有时它会过拟合。

（3）惩罚线性回归可以减少自由度使之与数据规模、问题的复杂度相匹配。对于有大量自由度的问题，惩罚线性回归方法获得了广泛应用。

自由度：统计学上的自由度是指当以样本的统计量来估计总体参数时，样本中能独立或能自由变化的自变量的个数。

个人理解：自由度就是需要解决的问题中可变因素的个数。比如拟合一条直线这个问题，就是有两个自由度（斜率，与x轴的交点），只要这两个因素确定了，这条直线就确定了。

（4）集成方法的基本思想数构建多个不同的预测模型，然后将其输出做某种组合作为最终的输出。