机器学习常用衡量标准

机器学习中衡量指标

准确率（accuracy）精确率（precision）召回率（Recall）

混淆矩阵（Confusion Matrix）

		预测值
		正例	反例
真实值	正例	TP（True Positive）	FN（False Negative）
	反例	FP（False Positive）	TN（True Negative）

TP：正例被预测为正例，正确地预测为正例。

FN：正例被预测为反例，错误地预测为反例。

FP：反例被预测为正例，错误地预测为正例。

FN：反例被预测为反例，正确地预测为反例。

 

1）准确率：分类正确的样本占样本总数的比例

 

 

 

2）精确率：正确分类为正样本占所有被分类为正样本的比例

 

3）召回率：正确分类为正样本与所有正样本的比例

 

4）F值

单独通过精确率或者召回率评价模型的好坏不太准确，因此需要使用综合评价指标来对分类模型进行评价。F值（F-measure，又称F-score），定义为精确率和召回率的调和平均：

 

其中α为调和参数值，当α取1时，F值就是常见的F1：

 

5）ROC曲线

受试者工作特征曲线（Receiver Operating Characteristic Curve）

分别以真正率TPR，假正率FPR作为竖轴和横轴。

 

 

假设检验集中共有n个样本，每个样本为正例或者反例，根据分类算法可以得出每个样本属于正例的概率，将样本按照此概率由高到低排序；将样本为正例的概率由高到低依次作为阈值，当样本为正例的概率大于等于阈值时，则为正例，反之，则为反例。

对于每一个选定的阈值，均能产生对应于ROC上的点，将这n个点连接绘制得到ROC图。

ROC图下的面积称为AUC（Area Under Curve），AUC值越大，表示分类模型的预测准确性越高，个人理解，当假正率比较低的情况下，真正率相对较高，此时得到的AUC值就会越大；而ROC越光滑，一般表示过拟合现象越轻。

 

相比其他评价标准，ROC的优势在于当检验集中的正负样本的分布发生变化时，ROC能够保持不变。另一常用的评价曲线Precision-Recall曲线则受正负样本的分布影响极大。