模型评估的重要指标

模型的测试一般在以下几个方面进行比较，即模型的重要评价指标，分类模型的评价指标主要有： 准确率/召回率/精准率/F值/ROC曲线/AUC曲线，回归模型的评价指标主要有RMSE（均方根误差）MSE（均方误差）、平均绝对误差、中值绝对误差、

决定系数，接下来针对模型的评价指标进行相关的阐述。

附上相关评价指标的API链接

https://blog.youkuaiyun.com/shine19930820/article/details/78335550#%E8%AF%84%E4%BB%B7%E6%8C%87%E6%A0%87evaluation-metrics

在介绍各项指标之前先简单介绍下混淆矩阵

真正例（TP）：实际上是正例的数据点被标记为正例

假正例（FP）：实际上是反例的数据点被标记为正例

真反例（TN）：实际上是反例的数据点被标记为反例

假反例（FN）：实际上是正例的数据点被标记为反例

准确率（Accuracy 正确率）=所有预测正确的样本/总的样本  （TP+TN）/总

 精确率（Precision）=  将正类预测为正类 / 所有预测为正类 TP/（TP+FP）

 召回率 （Recall）= 将正类预测为正类 / 所有正真的正类 TP/（TP+FN）

 F值（F-1Score） = 精确率 * 召回率 * 2 / ( 精确率 + 召回率) （F 值即为精确率和召回率的调和平均值）

ROC曲线：接收者操作特征(receiver operating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。

纵轴：真正类率(true postive rate TPR)，也叫真阳性率

横轴：假正类率(false postive rate FPR)，也叫伪阳性率

由上表可得出横，纵轴的计算公式：

(1)真正类率(True Postive Rate)TPR: TP/(TP+FN), 代表分类器 预测为正类中实际为正实例

占 所有正实例 的比例。

(2)假正类率(False Postive Rate)FPR: FP/(FP+TN)，代表分类器 预测为正类中实际为负实例 占 所有负实例 的比例。
 

横轴FPR: FPR越大，预测正类中实际负类越多。

纵轴TPR：TPR越大，预测正类中实际正类越多。

理想目标：TPR=1，FPR=0，即图中(0,1)点，此时ROC曲线越靠拢A点，越偏离45度对角线越好。

1）曲线与FP_rate轴围成的面积（记作AUC）越大，说明性能越好，即图上L2曲线对应的性能优于曲线L1对应的性能。即：曲线越靠近A点（左上方）性能越好，曲线越靠近B点（右下方）曲线性能越差。
（2）A点是最完美的performance点，B处是性能最差点。
（3）位于C-D线上的点说明算法性能和random猜测是一样的–如C、D、E点。位于C-D之上（即曲线位于白色的三角形内）说明算法性能优于随机猜测–如G点，位于C-D之下（即曲线位于灰色的三角形内）说明算法性能差于随机猜测–如F点。
（4）虽然ROC曲线相比较于Precision和Recall等衡量指标更加合理，但是其在高不平衡数据条件下的的表现仍然过于理想，不能够很好的展示实际情况。