PyTorch检查模型梯度是否可导

当我们构建复杂网络模型或在模型中加入复杂操作时，可能会需要验证该模型或操作是否可导，即模型是否能够优化，在PyTorch框架下，我们可以使用torch.autograd.gradcheck函数来实现这一功能。

首先看一下官方文档中关于该函数的介绍：

可以看到官方文档中介绍了该函数基于何种方法，以及其参数列表，下面给出几个例子介绍其使用方法，注意：

• Tensor需要是双精度浮点型且设置requires_grad = True

第一个例子：检查某一操作是否可导

from torch.autograd import gradcheck
import torch
import torch.nn as nn

inputs = torch.randn((10, 5), requires_grad=True, dtype=torch.double)
linear = nn.Linear(5, 3)
linear = linear.double()
test = gradcheck(lambda x: linear(x), inputs)
print