机器学习常见面试问题（一）

过拟合原因
数据：数据不规范，数据量少，数据穿越，统计特征用到了未来的信息或者标签信息
算法：算法过于复杂
解决：
1、将数据规范化，处理缺失值，增加数据量，采样，添加噪声数据
2、正则化，控制模型复杂程度，
3、early stoping，减少迭代次数，减少树的深度，
4、学习率调大/小点、
5、融合几个模型

L1和L2的区别
1、L1是Lasso Regression，表示向量中每个元素绝对值的和：L1范数的解通常是稀疏性的，倾向于选择数目较少的一些非常大的值或者数目较多的insignificant的小值。
2、L2是岭回归，Ridge Regression，是欧氏距离也就是平方和的平方根。L2范数越小，可以使得w的每个元素都很小，接近于0，但L1范数不同的是他不会让它等于0而是接近于0。
3、L1正则化的w可取的值是转置的方形，L2对应的是圆形。这样损失函数l（w）的最小值更容易在L1对应的边角上取得，从而这些维度变成0了。
从贝叶斯的角度来看，加入正则项相当于加入了一种先验。即当训练一个模型时，仅依靠当前的训练数据集是不够的，为了实现更好的泛化能力，往往需要加入先验项。
L1范数相当于加入了一个Laplacean先验；
L2范数相当于加入了一个Gaussian先验。
4、L2对大数的惩罚更大，但是解相对来说比较均匀。

生成模型和判别模型区别
对于输入x，类别标签y：
生成式模型估计它们的联合概率分布P(x,y)
Gaussians、Naive Bayes、Mixtures of Multinomials
Mixtures of Gaussians、Mixtures of Experts、HMMs
Sigmoidal Belief Networks, Bayesian Networks、Markov Random Fields
Latent Dirichlet Allocation

判别式模型估计条件概率分布P(y|x)
Logistic Regression、SVM、Traditional