pytorch 如何设置可学习参数

最新推荐文章于 2025-09-26 11:41:40 发布

原创最新推荐文章于 2025-09-26 11:41:40 发布 · 1.4w 阅读

38 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch

python 同时被 2 个专栏收录

44 篇文章

订阅专栏

pytorch

18 篇文章

订阅专栏

本文介绍了一种在卷积神经网络(CNN)中使用可学习参数进行特征融合的方法。通过定义四个可学习的权重参数，网络能够自我调整不同CNN输出之间的权重，实现更灵活的特征组合。这种方法避免了手动设定权重，提高了模型的泛化能力。

如何根据自己需求设定，可学习参数，并进行初始化。

#比如cnn输出4个东西，你又不想concate到到一起，你想用权重加法，权重又不想自己设定，想让网络自己学

#requires_grad=True这个很重要

#设置前置网络及 可学习参数
self.cnn=cnn_output4()
self.fuse_weight_1 = torch.nn.Parameter(torch.FloatTensor(1), requires_grad=True)
self.fuse_weight_2 = torch.nn.Parameter(torch.FloatTensor(1), requires_grad=True)
self.fuse_weight_3 = torch.nn.Parameter(torch.FloatTensor(1), requires_grad=True)
self.fuse_weight_4 = torch.nn.Parameter(torch.FloatTensor(1), requires_grad=True)

#初始化
self.fuse_weight_1.data.fill_(0.25)
self.fuse_weight_2.data.fill_(0.25)
self.fuse_weight_3.data.fill_(0.25)
self.fuse_weight_4.data.fill_(0.25)

def forward(x):
    x1,x2,x3,x4=self.cnn(x)
    return fuse_weight_1*x1+fuse_weight_2*x2+fuse_weight_3*x3+fuse_weight_4*x4