torch的常用损失函数

转载自:https://blog.youkuaiyun.com/Coco825211943/article/details/82195036

               https://blog.youkuaiyun.com/zziahgf/article/details/80196376

nn.L1Loss

nn.MSELoss(均方损失函数)

nn.BCELoss(Binary Cross Entropy二分类交叉熵)

nn.CrossEntropyLoss(多分类交叉熵)

nn.KLDivLoss(这个是重点)

class torch.nn.KLDivLoss(size_average=True, reduce=True)

作用:

相对熵, 也叫 KL 散度, Kullback-Leibler divergence Loss.

KL 散度用于估计连续分布的距离.

当对连续输出分布进行直接回归时, KL 散度比较有用.

输入 input 应该是在进行了一次 forward 来计算每个类别class 的 log-probabilities 概率.

输入 input 不一定是 2D Tensor, 因为其计算是逐元素进行的.

 

N - batchsize.

如果 reduce=True,

 参数:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值