**
Pytorch中CNN图像回归问题预测值都一样
**
上网也查阅了许多资料,然后对比各种方法都试了一遍,归结为以下几点:
1、出现预测值都一样的情况,一般都是在某一层梯度消失了,然后导致输入到下一层的参数为0,再而后面的值都是一样的。
2、可以添加代码来查看网络训练时的参数变化
List item
for parameters in net.parameters():
print(parameters)
3、解决方案:
①在每个卷积层之后添加bn层,也要在linear层和激活层之间添加bn层,目的是对隐藏层输入数据进行归一化。
②初始化网络参数,指的是对卷积层和线性层的操作。
③在forward中先针对卷积层之后的bn层,添加maxpool层和激活函数,再是对linear层之后的bn层添加激活函数。
④注意前面的激活函数都用sigmoid,最后一层用relu。
博客探讨了在Pytorch中遇到CNN图像回归任务预测值一致的常见原因,可能是梯度消失导致。建议检查网络参数是否正常变化,并提出解决方案,包括使用批量归一化(BN),正确初始化网络参数,以及调整激活函数的位置,如在卷积层后和全连接层后分别添加BN和激活层。最后指出,激活函数的选择也很关键,通常前层用sigmoid,最后一层用ReLU。
22

被折叠的 条评论
为什么被折叠?



