图神经网络七日打卡营最后比赛的一些技巧

最新推荐文章于 2023-12-26 22:47:09 发布

往事如yan

最新推荐文章于 2023-12-26 22:47:09 发布

阅读量1.8k

点赞数 4

分类专栏：百度飞桨

本文链接：https://blog.youkuaiyun.com/txpp520/article/details/110311313

版权

百度飞桨专栏收录该内容

8 篇文章

订阅专栏

本文介绍了深度学习模型训练中的一些实用技巧，包括断点续训、参数调整和模型魔改。作者分享了如何进行在线和离线断点续训，特别是在SGC模型中的应用。此外，建议在模型训练遇到瓶颈时调整学习率和正则化参数来提升性能。还展示了ResGCN的魔改代码，强调了学习率的重要性。最后，邀请读者交流更多训练技巧和经验。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

断点续训

分为两种，一种我定义为在线断点续训，即不保存模型到本地，停止运行后继续训练，一种是离线断点续训，即保存模型到本地，下次启动项目后接着训练。

这次比赛我尝试了好几种模型，目前好像只有 SGC 模型支持在线断点续训，其他都会报错，具体做法如下：

把 exe.run(startup_program) 注释，再次运行，就是断点续训。

【PaddlePaddle】模型的保存与使用

https://blog.youkuaiyun.com/qq_41427568/article/details/87735085

技巧2， 把 epoch 加到 5000，在训练的时候，发现 Valid Acc 没有什么变化，或者不升反降的时候，重新在上面改一下学习率，还有 weight_decay 也跟着改一下，

就可以让 Valid Acc 继续上升了。

未完继续~

新手上路，也欢迎大神们留言补充，纠正！谢谢~

技巧3，魔改模型

小斯哥童鞋在 《比赛baseline讲解》最后魔改了一个 ResGCN 出来，据他自己说后劲很足，代码如下：

#  16:00 开始看     https://aistudio.baidu.com/aistudio/education/lessonvideo/874892
class Res_GAT(object):
    """Implement of Res_GAT"""
    def __init__(self, config, num_class):
        self.num_class = num_class 
        self.num_layers = config.get("num_layers", 1)
        self.num_heads = config.get("num_heads", 8)
        self.hidden_size = config.get("hidden_size", 8)
        self.feat_dropout = config.get("feat_drop", 0.6)
        self.attn_dropout = config.get("attn_drop", 0.6)
        self.edge_dropout = config.get("edge_dropout", 0.0)

    def forward(self, graph_wrapper, feature, phase):
        if phase == "train": 
            edge_dropout = self.edge_dropout
        else:
            edge_dropout = 0

        feature = L.fc(feature,size=self.hidden_size*self.num_heads,name="init_feature") #  既可以用elu，也可以用relu  **魔改部分**

        for i in range(self.num_layers):
            ngw = pgl.sample.edge_drop(graph_wrapper, edge_dropout) 
            res_feature = feature   # 把上一层的 保存起来 **魔改部分**
            feature = conv.gat(ngw,
                                feature,
                                self.hidden_size,
                                activation=None, # **魔改部分**
                                name="gat_layer_%s" % i,
                                num_heads=self.num_heads,
                                feat_drop=self.feat_dropout,
                                attn_drop=self.attn_dropout)
            feature = feature  + res_feature # 结束的时候把残差加回去 **魔改部分**
            # feature = L.elu(feature) # 结束的时候把残差加回去 **魔改部分**
            feature = L.relu(feature) #  既可以用elu，也可以用relu  **魔改部分**
            feature = L.layer_norm(feature,name = "ln_%s"% i) # 结束的时候把残差加回去 **魔改部分**

        ngw = pgl.sample.edge_drop(graph_wrapper, edge_dropout) 
        feature = conv.gat(ngw,
                     feature,
                     self.num_class,
                     num_heads=1,
                     activation=None,
                     feat_drop=self.feat_dropout,
                     attn_drop=self.attn_dropout,
                     name="output")
        return feature

大家注意把 learning_rate 改为 0.001, 改小一点，因为层数比以前高了，可能容易爆炸或者振荡。