pytorch loss 出现nan，原因之一，计算图中存在torch.sqrt或者 **0.5，以及如何解决

今天写一个loss函数

dist=torch.sqrt(x*x+y*y)
loss=soomthL1loss(dist,gt_dist)

我随便写的几句示意代码，这样会导致在第一个iteration之后出现nan，第一次iteration之内，还是可以看到loss不为nan的。

解决办法：

     1、不开方，因为开方的求导会出现在分母上，因此需要避免分母为0！

     2、torch.sqrt(x*x+0.000001)增加一个 很小的 “一瞥西漏”

给大家个测试代码：

import torch
a = torch.zeros(1,requireds_grad = True)
b = torch.sqrt(a)
b.backward()
print(a.grad)
#得到tensor([inf]),看到inf就知道，一般来说没办法传递了，为什么是一般来说，因为用过darknet的yolo的话，里面出现inf还是可以训练的（可能我记错了）


#修改下：
import torch
a = torch.zeros(1,requireds_grad = True)
b = torch.sqrt(a+0.001)
b.backward()
print(a.grad)
#tensor([15.814])