torch的常用损失函数

转载自：https://blog.youkuaiyun.com/Coco825211943/article/details/82195036

               https://blog.youkuaiyun.com/zziahgf/article/details/80196376

nn.L1Loss

nn.MSELoss（均方损失函数）

nn.BCELoss（Binary Cross Entropy二分类交叉熵）

nn.CrossEntropyLoss(多分类交叉熵)

nn.KLDivLoss（这个是重点）

class torch.nn.KLDivLoss(size_average=True, reduce=True)

作用:

相对熵, 也叫 KL 散度, Kullback-Leibler divergence Loss.

KL 散度用于估计连续分布的距离.

当对连续输出分布进行直接回归时, KL 散度比较有用.

输入 input 应该是在进行了一次 forward 来计算每个类别class 的 log-probabilities 概率.

输入 input 不一定是 2D Tensor, 因为其计算是逐元素进行的.

 

N - batchsize.

如果 reduce=True,

 参数: