[机器学习笔记] 什么是损失函数？

机器学习模型关于单个样本的预测值与真实值的差称为损失。损失越小，模型越好，如果预测值与真实值相等，就是没有损失。
用于计算损失的函数称为损失函数。模型每一次预测的好坏用损失函数来度量。

常用的损失函数有以下几种（引用自李航的《统计学习方法》）
1. 0-1损失函数

二类分类任务中，预测值与真实值不同，就是预测错误，则损失是1；
预测值与真实值相等，就是预测正确，损失是 0，就是没有损失。

2. 平方损失函数

预测值与真实值的差的平方。预测误差越大，损失越大。好理解吧。

3. 绝对损失函数