详解 TensorFlow 训练多个loss函数技巧：训练步骤，冻结部分层

原创

已于 2022-05-04 16:01:36 修改 · 1w 阅读

·

8

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章标签：

#多个loss训练 #多阶段网络 #冻结层

于 2019-05-29 18:04:25 首次发布

本文详细介绍了在TensorFlow框架下如何处理具有多个阶段和损失函数的网络训练。通过两种训练策略——整体训练和分步训练，特别是重点讨论了分步训练的三个步骤：分别训练每个阶段，再整体微调。文中还提到了如何选择权重参数，以及如何通过单独训练阶段来优化最终的总损失函数。

由于以前写的关于冻结层的博客不够详细，给很多读者造成困惑。为补充关于冻结层，训练多个loss的博客，遂给出更详细的过程。

简述

这里我简单的以两个阶段为例，讲解tensorflow框架下，存在两个阶段，每个阶段分别都有一个loss时，如何分步网络。如下图所示，也就是训练这种存在两个阶段的网络和两个loss的网络。
在这里插入图片描述

训练这种网络的方式很多。

训练方式一（整体训练）

首先计算总的loss

$losstotal=λ1∗loss1+λ2∗loss2loss_{total} = \lambda_1*loss1+\lambda_2*loss2$

合适选择权重参数 $λ1\lambda_1$

最低0.47元/天解锁文章

评论 15

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。