m0_58611143的博客

原创 【Pytorch/DDPG】报错：RuntimeError: Trying to backward through the graph a second time (or directl

critic_loss和actor_loss都使用了q_values=self.critic(states, actions)这个带梯度的变量，actor_loss反向传播时该变量的梯度被释放，因此critic_loss在backward时会报错。原因：某个带有梯度信息的变量在被执行了一次后，这些梯度信息就被计算图释放掉了，而我们的代码却尝试第二次反向传播的时候来访问这些变量(梯度信息)。