为复现: Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics
(https://arxiv.org/pdf/1705.07115.pdf)
文章中:![]()
原文章定义sigma为噪声,在原论文复现中(https://github.com/yaringal/multi-task-learning-example/blob/master/multi-task-learning-example.ipynb)直接是可学习的参数,见下图:

用pytorch复现的坑:
1、要用parameter,而不是定义常数torch.Tensor(torch.zeros(1))
from torch.nn import Parameter
self.log_cate = Parameter(torch.Tensor(1))
self.log_regress = Parameter(t

本文探讨了在复现Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics研究时遇到的问题。在PyTorch实现中,作者强调了两个关键点:1. 处理权重参数sigma时应将其视为可学习的parameter,而非常数;2. 在计算损失加权的总损失L时,权重W需要在计算图中,因此应将其置于forward函数内,以确保梯度正确计算。
最低0.47元/天 解锁文章
2万+

被折叠的 条评论
为什么被折叠?



