将pytorch中变量的梯度为 nan 的替换成 1 还是 0？

关注

原创最新推荐文章于 2026-07-13 11:40:46 发布 980 阅读 AI 写同款· GEO 优化 ›

PyTorch全连接神经网络实战：从构建、优化到超参数调优人工神经网络（ANN）是深度学习的基石概念，其核心在于前向传播的张量计算与反向传播的梯度更新机制。理解权重初始化、激活函数选择、学习率与批量大小的耦合关系等原理，直接决定模型收敛性与泛化能力。PyTorch作为主流动态图框架，通过nn.Module、autograd和torch.optim三大模块，为ANN提供了高度可控的实现路径——这不仅是API调用，更是对计算图生命周期、内存管理及数值稳定性的工程实践。典型应用场景包括结构化数据分类（如Wine Quality）、特征提取基线构建及算法岗面试深度考察。本阅读详情

替换成0，则变量保持不动

0: xtensor([1.0000, 2.0000, 3.0000, 4.5000], device='cuda:0', requires_grad=True)
0: xtensor([1.0000, 2.0000, 3.0000, 4.5000], device='cuda:0', requires_grad=True)

替换成1，变量会变化

0: xtensor([1.0000, 2.0000, 3.0000, 4.5000], device='cuda:0', requires_grad=True)
0: xtensor([1.0000, 2.0000, 3.0000, 4.5000], device='cuda:0', requires_grad=True)

代码如下：

import torch
import numpy as np
import torch.optim as optim

torch.autograd.set_detect_anomaly(True)

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
x = torch.tensor([1.0, 2.0, 3.0,4.5], dtype=torch.float32, requires_grad=True, device=device)

y1 = x*2
y2 = x**3
print(f'x{x}')
print(f'y1{y1}')
print(f'y2{y2}')

optimizer = optim.Adam([x], lr=1)

def replace_gradients_zero(grad):  
    return torch.where(torch.ones_like(grad, dtype=torch.bool), torch.zeros_like(grad), grad)  

def replace_gradients_one(grad):  
    return torch.where(torch.ones_like(grad, dtype=torch.bool), torch.ones_like(grad), grad)  

for i in range(1):
    print(f'{i}: x{x}')
    optimizer.zero_grad()
    loss = (y1-y2).sum()

    for param in [x]:  
        param.register_hook(replace_gradients_zero) 

    loss.backward()
    optimizer.step()
    print(f'{i}: x{x}')