Pytorch中CNN图像回归问题预测值都一样

博客探讨了在Pytorch中遇到CNN图像回归任务预测值一致的常见原因,可能是梯度消失导致。建议检查网络参数是否正常变化,并提出解决方案,包括使用批量归一化(BN),正确初始化网络参数,以及调整激活函数的位置,如在卷积层后和全连接层后分别添加BN和激活层。最后指出,激活函数的选择也很关键,通常前层用sigmoid,最后一层用ReLU。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

**

Pytorch中CNN图像回归问题预测值都一样

**
上网也查阅了许多资料,然后对比各种方法都试了一遍,归结为以下几点:
1、出现预测值都一样的情况,一般都是在某一层梯度消失了,然后导致输入到下一层的参数为0,再而后面的值都是一样的。
2、可以添加代码来查看网络训练时的参数变化

List item

 for parameters in net.parameters():
   		 print(parameters)

3、解决方案:
①在每个卷积层之后添加bn层,也要在linear层和激活层之间添加bn层,目的是对隐藏层输入数据进行归一化。
②初始化网络参数,指的是对卷积层和线性层的操作。
③在forward中先针对卷积层之后的bn层,添加maxpool层和激活函数,再是对linear层之后的bn层添加激活函数。
④注意前面的激活函数都用sigmoid,最后一层用relu。

评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值