14、机器学习中的损失评估、验证与公平性考量

机器学习中的损失评估、验证与公平性考量

1. Log Loss的概念与应用

Log Loss，有人认为它是Logistic Loss的缩写，因为它源自对数几率函数，该函数等同于两种可能结果之间的对数几率比。更简便的理解方式是，当我们将模型输出视为实际概率时，它就是我们想要使用的损失函数。

概率不仅仅是限制在0.0到1.0范围内的数字，它还能有意义地描述某件事情发生的可能性。Log Loss在处理概率问题时表现出色，它能突出0.99、0.999和0.9999等预测值之间的差异。如果这些更有信心的预测结果是错误的，它会对其进行更显著的惩罚；同样，对于0.01、0.001和0.0001等预测值也是如此。

例如，在创建预测事故发生几率的风险预测模型时，操作的可靠性为99%和99.99%之间存在巨大差异。如果我们的指标不能突出这些差异，可能会导致糟糕的定价决策。然而，在某些情况下，比如我们只是大致关心一张图片中包含小猫的可能性，0.01和0.001的概率都可以被解释为“基本不可能”，此时Log Loss就不是一个合适的最终指标。

需要注意的是，如果我们的模型预测值恰好为1.0或0.0且预测错误，Log Loss可能会给出无穷大的值（显示为NaN值，破坏平均值）。

2. 模型验证与评估的操作化

评估模型的有效性是任何关心生产的人都应该掌握的技能。即使你不是每天都进行模型评估，通过培训、清单/流程以及针对简单情况的自动化支持代码（这本身可以节省人类专业知识和判断力，用于更具挑战性的情况），这也是可以实现的。

对于模型质量评估的问题，情况可能会稍微复杂一些。显然，对于ML Ops人员来说，了解对评估我们系统的模型