评价指标总结

评价指标总结

我们需要通过评价指标来判断模型的好坏：

一、对于分类结果的评价的评价指标：

1、分类准确度：即预测成功的在总数中的占比

2、利用混淆矩阵：

FN：False Negative,被判定为负样本，但事实上是正样本。FP：False Positive,被判定为正样本，但事实上是负样本。TN：True Negative,被判定为负样本，事实上也是负样本。TP：True Positive,被判定为正样本，事实上也是证样本。

2.1、精准率和召回率

精准率（查准率）：：预测值为1，且预测对了的比例，即：我们关注的那个事件，预测的有多准。

召回率（查全率）：所有真实值为1的数据中，预测对了的个数，即：我们关注的那个事件真实的发生情况下，我们成功预测的比例是多少。

2.2、F1 Score

F1 Score是精准率和召回率的调和平均值，可以平衡这两个指标。

3、ROC曲线

ROC曲线（Receiver Operation Characteristic Cureve），描述TPR和FPR之间的关系。x轴是FPR，y轴是TPR。

3.1、分类阈值

分类阈值，即设置判断样本为正例的阈值threshold

3.2、TPR

TPR：预测为1，且预测对了的数量，占真实值为1的数据百分比。很好理解，就是召回率。

3.3、FPR

FPR:预测为1，但预测错了的数量，占真实值不为1的数据百分比。与TPR相对应，FPR除以真实值为0的这一行所有的数字和 。

4、AUC：直观判断模型的好坏

一般在ROC曲线中，我们关注是曲线下面的面积， 称为AUC（Area Under Curve）。这个AUC是横轴范围（0,1 ），纵轴是（0,1）所以总面积是小于1的。

二、线性回归评价指标

1、均方误差MSE

预测值与真实值之差的平方和，再除以样本量

2、均方根误差RMSE

为了消除量纲，将MSE开方

3、平均绝对误差MAE

预测值与真实值之差的绝对值，再除以样本量

4、R方

因此用1减去较少的错误除以较多的错误，实际上是衡量了我们的模型拟合住数据的地方，即没有产生错误的相应指标。