当你刚训练了一个机器学习模型,比如用来预测房价或者判断照片里是不是猫。但你怎么知道这个模型到底好不好呢?这就需要模型评估了。而且,如果模型表现不够好,我们还得想办法改进它。
1. 模型评估:看看模型到底有多厉害
模型评估就像是给模型打分。我们想知道模型在新数据上的表现怎么样,能不能正确预测结果。最常用的评估指标是准确率(Accuracy),它表示模型预测正确的比例。比如,模型预测了100个样本,其中有97个预测正确,那准确率就是97%。
但准确率并不总是完美的,特别是在数据不平衡的情况下。比如,你想用模型判断一封邮件是不是垃圾邮件,但大部分邮件都不是垃圾邮件。这时候,即使模型什么也不做,直接预测所有邮件都不是垃圾邮件,准确率也会很高,但这显然不是我们想要的结果。
1.1 二分类问题的评估指标
对于二分类问题(比如判断是不是垃圾邮件),我们还有其他几个重要的评估指标:
- 精确率(Precision):表示模型预测为正的样本中,实际为正的比例。
- 召回率(Recall):表示所有实际为正的样本中,模型正确预测为正的比例。
- F1分数(F1 Score)