机器学习面试题 -模型的评价与验证

1.什么是机器学习的过拟合？

  所谓过拟合，就是指模型在训练集上的效果很好，在测试集上的预测效果很差。

2.如何避免过拟合问题？

1)重采样bootstrap;
2)L1,L2正则化；
3)决策树的剪枝操作；
4) 交叉验证。

3.什么是机器学习的欠拟合？

  所谓欠拟合就是模型复杂度低或者数据量太小，对数据的拟合程度不高，因此模型在训练集上的效果不好。

4.如何避免欠拟合问题？

1)增加样本的数量；
2)增加样本特征的个数；
3)可以进行特征维度的扩展。

5.什么是交叉验证？交叉验证的作用是什么？

  交叉验证，就是将原始数据集(dataset)划分为两部分，一部分为训练集用来训练模型，另外一部分用来测试模型效果。

作用：
   1)交叉验证是用来评估模型在新的数据集上的预测效果，也可以在一定程度上减少模型的过拟合。
   2)还可以从有限的数据中获取尽可能多的有效信息。

   交叉验证主要有以下方法：留出法，k折交叉验证，留一法和BootStrap方法。其中，留出法简单地将原始数据集划分为训练集、验证集和测试集三个部分。

6.如何避免数据不平衡？

   1)重采样(bootstrap)–>上采样和下采样
   2) 数据合成–>利用已有样本生成更多样本
   3) 加权
   4) 看成：分类或者异常检测的问题

 应用场景：
   1)正负样本都非常之少–>数据合成的方式
   2)负样本足够多，正样本非常之少且比例极其悬殊–>分类方法
   3)正负样本都足够多且比例不是特别悬殊–>采样或加权的方法

7.在数据处理过程中，对于缺少特征的样本如何进行处理？

 根据样本缺失的实际情况，我们一般应用：
  1)均值，中值，最大最小值等来填充数据；
  2)根据经验值补全数据；
  3)通过相关计算得到缺失值；
  4)样本数量足够，则可以直接删除有缺失值的样本。

8.连续性数据转换为离散数据有什么优点？

 1)离散特征的增加和减少都很容易，易于模型的快速迭代；
 2)离散化后的特征对异常数据具有很强的鲁棒性；
 3)离散化后可以进行特征交叉，相当于引入非线性，提升模型的表达能力；
 4)降低模型过拟合的风险。

9.准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F值(F-Measure)和ROC曲线的理解？

1)下表：1代表正类，0代表负类。

		预测
		1	0	合计
实际	1	True postive(真下类，TP)	False Negative(假负类，FN)	Actual Postive
	0	Flase Postive(假正负，FP)	True Negative(真负类，TN)	Actual Negative
	合计	Predicted Postive	Predicted Negative	TP+FN+FP+TN

准确率(正确率)=所有预测正确的样本/总样本=(TP+TN)/(TP+FN+FP+TN)
精确率=将正类预测为正类/所有预测为正类=TP/(TP+FP)
召回率=将正类预测为正类/所有真正的正类=TP/(FP+FN)
F值=精确率召回率2/(精确率+召回率)
注：F值即为精确率和召回率的调和平均值。

  ROC曲线：接收者操作特征(Receiver operating characteristic)，ROC曲线上每个点反映着对同一信号刺激的感受性。
  纵轴：真正类率（True Postive rate,TPR），也叫真阳性率.TPR=TP / (TP + FN)，代表分类器预测为正类中实际为正实例占所有正实例的比例；
  横纵：假正类率（False Positive），也叫伪阳性率。FRP=FP/(FP+TN)，代表分类器预测为正类中实际为负实例占所有负实例的比例。
  理想目标：TPR=1,FPR=0,即图中(0,1)点，此时ROC曲线越靠拢(0,1)点越偏离45度对角线越好。