log loss
在机器学习构建分类模型的任务中经常使用的损失度量方法;
对数损失的公式为:
−∑iN∑jMyijlog(pij)−∑iN∑jMyijlog(pij)
其中N对应于我们的样本数或者输入的实例的数量,i对应于某一个样本或者实例;M表示我们的样本可能的分类数量,j表示某一个分类;yijyij 表示对于某个样本i,其属于分类j的标签?通常是0或者1,而且i只属于一个分类;然后pijpij 表示的是样本i预测为j分类的概率!
从表达式中我们可以看到,log loss旨在惩罚错误分类,对于完全正确的分类(预测概率为1)显然其对loss的贡献为0; 当然我们可以控制其范围,避免因为0或者1带来的log溢出问题.
对于一个二分类问题来说,其log loss function为:
−∑iN(yilogpi+(1−yi)log(1−pi))−∑iN(yilogpi+(1−yi)log(1−pi))

通过简单的绘制二分类的损失曲线(图片借助于别的网站):比如我们可以绘制分类为1,概率为p,其中p的范围是(0~1),的曲线,我们可以看到对于正例的错误分类,其惩罚是严重的!除非可以百分百确定,否则都会产生损失.