常用损失函数

自己随便乱粘的,自用

1、logloss对数损失函数

对数损失, 即对数似然损失(Log-likelihood Loss), 也称逻辑斯谛回归损失(Logistic Loss)或交叉熵损失(cross-entropy Loss), 是在概率估计上定义的.它常用于(multi-nominal, 多项)逻辑斯谛回归和神经网络,以及一些期望极大算法的变体. 可用于评估分类器的概率输出.

  对数损失通过惩罚错误的分类,实现对分类器的准确度(Accuracy)的量化. 最小化对数损失基本等价于最大化分类器的准确度.为了计算对数损失, 分类器必须提供对输入的所属的每个类别的概率值, 不只是最可能的类别. 对数损失函数的计算公式如下: 

  其中, Y 为输出变量, X为输入变量, L 为损失函数. N为输入样本量, M为可能的类别数, yij 是一个二值指标, 表示类别 j 是否是输入实例 xi 的真实类别. pij 为模型或分类器预测输入实例 xi 属于类别 j 的概率.

  如果只有两类 {0, 1}, 则对数损失函数的公式简化为

  这时, yi 为输入实例 xi 的真实类别, pi 为预测输入实例 xi 属于类别 1 的概率. 对所有样本的对数损失表示对每个样本的对数损失的平均值, 对于完美的分类器, 对数损失为 0 .

 

2、平方损失函数(最小二乘法, Ordinary Least Squares )

平方损失函数较为容易理解,它直接测量机器学习模型的输出与实际结果之间的距离。这里可以定义机器学习模型的输出为yi,实际的结果为ti

,那么平方损失函数可以被定义为:

3、指数损失函数(Adaboost)

 

4、Hinge损失函数(SVM)

Hinge loss用于最大间隔(maximum-margin)分类,其中最有代表性的就是支持向量机SVM。

  Hinge函数的标准形式:

 

  

(与上面统一的形式:

  其中,t为目标值(-1或+1),y是分类器输出的预测值,并不直接是类标签。其含义为,当t和y的符号相同时(表示y预测正确)并且|y|≥1时,hinge loss为0;当t和y的符号相反时,hinge loss随着y的增大线性增大。

 

5、0-1损失函数和绝对值损失函数

0-1损失是指,预测值和目标值不相等为1,否则为0:

  感知机就是用的这种损失函数。但是由于相等这个条件太过严格,因此我们可以放宽条件,即满足时认为相等。

 

绝对值损失函数:

 

### 图像分类中的常用损失函数 #### 交叉熵损失函数概述 在图像分类任务中,交叉熵损失函数是一种广泛采用的方法。此方法通过衡量预测概率分布与真实标签之间的差异来进行模型优化[^1]。 对于一个多分类问题而言,假设存在\(C\)个类别,则针对单一样本计算其对应的交叉熵损失可表达为: \[ \text{loss} = -\sum_{c=1}^{C}{y_c*\log(\hat{y}_c)} \] 其中,\(y_c\)代表实际标签向量(one-hot编码形式),而\(\hat{y}_c\)则指代由模型给出的概率估计值[^3]。 当处理的是二元分类场景时,上述公式可以简化成另一种表现形式: \[ \text{loss} = -(y * \log{\hat{y}} + (1-y)*\log{(1-\hat{y})}) \] 这里的\(y\)是目标变量,\(\hat{y}\)则是预测的结果[^4]。 值得注意的是,在实践中为了防止取对数运算过程中遇到数值不稳定的情况(比如输入接近于零),通常会对原始输出应用softmax激活层转换得到合法的概率分布后再求解交叉熵损失[^2]。 ```python import torch.nn.functional as F def cross_entropy_loss(input, target): # Apply softmax to get probabilities and then calculate the negative log likelihood loss. return F.cross_entropy(input, target) ``` 除了交叉熵之外,还有其他类型的损失函数可用于评估多分类性能,例如合页损失(hinge loss),它主要用于支持向量机(SVMs)框架下的分类任务;然而,在现代深度学习架构特别是卷积神经网络(CNNs)里,由于softmax加交叉熵组合能够提供更优的学习信号并促进梯度传播效率,因此成为主流选择。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值