gradcheck报错RuntimeError: Jacobian mismatch for output 0 with respect to input 0

原创于 2019-07-08 22:22:28 发布 · 2.9k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch gradcheck

pytorch 专栏收录该内容

9 篇文章

订阅专栏

本文解决了一个PyTorch自定义函数Sigmoid在使用gradcheck进行梯度检查时遇到的错误。通过调整eps参数，从默认的1e-6增加到1e-3，解决了与输入数据类型不匹配的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

pytorch版本：1.1.0

函数介绍：

gradcheck(func, inputs, eps=1e-06, atol=1e-05, rtol=0.001, raise_exception=True, check_sparse_nnz=False)

运行下面的程序时报错

# sigmoid
class Sigmoid(Function):
    
    @staticmethod
    def forward(ctx , x):
        output=1/(1+t.exp(-x))
        ctx.save_for_backward(output)
        return output
    
    @staticmethod
    def backward(ctx,grad_output):
        output, = ctx.saved_tensors
        grad_x= grad_output* output * (1-output)
        return grad_x
    
input=t.randn(3,4,requires_grad=True)
t.autograd.gradcheck(Sigmoid.apply,(input,))

错误截图：
在这里插入图片描述
问题出在最后一行上，查Google后解决：

最后一行代码改为

t.autograd.gradcheck(Sigmoid.apply,(input,),eps=1e-3)

问题原因
在这里插入图片描述
从函数介绍中可以发现 eps 参数值默认为1e-6，这是对应双精度的默认值，与输入数据不匹配，我们把这个数值上调到1e-4 1e-3 或更大都行