作者：Gein Chen链接：https://www.zhihu.com/question/29873016/answer/77647103来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。clip_gradient 的引入是为了处理gradient explosion的问题。当在一次迭代中权重的更新过于迅猛的话，很容易导致loss divergence。clip_gr...

在构建loss时pytorch常用的包中有最常见的MSE、cross entropy（logsoftmax+NLLLoss）、KL散度Loss、BCE、HingeLoss等等，详见：https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/#loss-functions 这里主要讲解一种考虑类间距离的Cente...