【已解决】RuntimeError: Trying to backward through the graph a second time

搭建了网络以及训练代码之后,程序在第一个epoch是没问题的,但是一进入第二个epoch就报错:RuntimeError: Trying to backward through the graph a second time。代码如下:

    for epoch in range(config['epochs']):
        # 训练阶段
        model.train()
        epoch_train_loss = 0
        progress_bar = tqdm(train_loader, desc=f'Epoch {epoch + 1} [Train]')
        for batch in progress_bar:
            spectra = batch['spectrum'].to(device)
            num_src = batch['num_sources'].to(device)
            angles = batch['angles'].to(device)
            optimizer.zero_grad()
            pred_num, pred_angles = model(spectra)
            loss = criterion(pred_num, pred_angles, num_src, angles)
            loss.backward()
            optimizer.step()
            epoch_train_loss += loss.item()
            progress_bar.set_postfix({'loss': loss.item()})

尝试按照提示修改backward部分,加入retain_grad=True,即:

loss.backward(retain_grad=True)

并没有解决。

解决方案: 将模型输出结果使用detach()函数将其从计算图中分离,使其不参与反向传播。如下:

pred_num, pred_angles = model(spectra)
loss = criterion(pred_num.detach(), pred_angles.detach(), num_src, angles)

这样就可以正常训练啦。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值