记录一下Seq2Seq模型中，反向传播Grad_value全都为None的排查过程

1，首先明确requires_grad都是为True的，是否启动了反向传播

2，loss是正常计算的

3，排查是否是device的问题，是否是模型和参数所在的设备不同，将device删除后仍然全部为None

4，确认损失函数和优化器的配置正确

5，排查是否是Model的问题，可以写一个简单的测试函数，随机输入数据来观察是否有反向传播，结果发现测试函数反向传播正常

可以确定是Agent代码中出现了问题。

6，确定是loss函数的问题，loss函数的计算再调用了mes loss function后正常反向传播。