宽松的准确率指标:Relaxed Accuracy；平衡数据和非平衡数据Non-IID

宽松的准确率指标:Relaxed Accuracy

基本计算原理

• 假设我们有一个分类任务，要将样本分为A、B、C等多个类别。对于每个样本，模型会给出一个预测类别，将预测类别与真实类别进行比较，如果预测正确则记为一次正确预测，预测错误则记为一次错误预测。
• Relaxed Accuracy在计算正确预测的样本数量时，可能会采用相对宽松的判断标准，不像传统准确率那样严格要求精确匹配类别，而是在一定条件下，即使预测类别不完全准确，但在某种程度上接近真实类别也会被视为正确预测。

具体计算示例

• 假设我们有一个图像分类任务，将图像分为“猫”“狗”“其他动物”这三类。在传统准确率计算中，如果一张猫的图片被预测为狗，那么这就是一次错误预测。
• 但在Relaxed Accuracy计算中，如果我们设定一个宽松条件，比如“猫”和“狗”在某种特征上较为相似，当一张猫的图片被预测为狗时，我们可以根据具体情况将其视为一次正确预测。例如，我们规定只要预测的类别和真实类别都属于哺乳动物就算正确预测。
• 假设有100张图片，其中猫的图片有30张，狗的图片有30张，其他动物的图片有40张。
• 模型预测的结果是：猫的图片中有20张被正确预测为猫，5张被预测为狗，5张被预测为其他动物；狗的图片中有18张被正确预测为狗，8张被预测为猫，4张被预测为其他动物；其他动物的图片中有30张被正确预测为其他动物