深度学习模型的多Loss调参技巧

最新推荐文章于 2025-03-19 15:21:33 发布

炼丹笔记

最新推荐文章于 2025-03-19 15:21:33 发布

阅读量2.6k

点赞数 1

文章标签：深度学习机器学习算法人工智能神经网络

本文链接：https://blog.youkuaiyun.com/m0_52122378/article/details/123130111

版权

本文探讨了在深度学习模型中处理多目标任务时的损失函数调参技巧，包括GradNorm、Pareto优化、线性加权及权重不确定性等方法，并提供了实践经验和相关论文链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在多目标多任务训练的网络中，如果最终的loss为有时为多个loss的加权和，例如 loss = a*loss_x+b*loss_y+c*loss_y+... ，这个问题在微信视频号视频推荐里也存在。任务需要对视频号的某个视频的收藏、点击头像、转发、点赞、评论、查看评论等进行多任务建模，也就产生了多个loss。

这里贴一下当时比赛的code:

model.compile(loss = {
     'read_comment':'categorical_crossentropy',
                          'like':'categorical_crossentropy',
                          'click_avatar':'categorical_crossentropy',
                          'forward':'categorical_crossentropy',
                          'favorite':'categorical_crossentropy',
                          'comment':'categorical_crossentropy',
                          'follow':'categorical_crossentropy'}, 
                  optimizer = Adam(lr=8e-3), 
                  metrics = {
     'read_comment':"accuracy",
                             'like':