机器学习题库

正则化（regularization）：
    正则化是针对过拟合提出的。
    正则化可以防止训练模型过于复杂，有效降低过拟合的风险。
       L1正则化 (Lasso)：可以得到稀疏的权值，它会自动进行特征选择，去掉一些没用的特征，即，将这些特征对应的权重置为0。目标函数中增加所有权重w参数的绝对值之和。
       L2正则化 (Ridge): 可以得到平滑的权值。当要求参数越小时，说明模型越简单，而模型越简单则越趋向于平滑，从而防止过拟合。目标函数中增加所有权重w参数的平方之和。

L1，L2 区别： L2正则化会让系数的取值变得平均。L1会趋向产生少量特征，而其他特征都是0。而L2会选择更多的特征，这些特征都会接近于0。

降低过拟合：
    正则化：L1,L2
    随机失活（dropout)
    提前终止（early stopping): 根据交叉验证提前终止。
    特征选择/特征降维

偏差和方差：
    偏差：度量了学习算法的期望预测和真实结果的偏离程度，表示学习算法本身的拟合能力。
    方差：度量了同样大小的训练集的变动所导致的学习性能的变化，表示数据扰动</