- 博客(2)
- 收藏
- 关注
RSS订阅原创 元学习算法 | 梯度一致作为优化目标的理解(与MAML或Reptile结合)
Reptile是MAML的改进版，更易于实现（MAML要求二阶导，Reptile是他的一阶近似版）。MAML和Reptile都是将子任务间的梯度进行平均来更新原模型参数，也就是说，它们认为所有子任务在更新元模型梯度上贡献相等。但事实上，每个子任务对元模型的更新梯度的贡献应该是不一样的。因此，有梯度一致算法，使用梯度的加权平均来更新元模型参数。这篇博客将介绍如何理解和计算子模型对元模型的更新参数时的权重。
2021-07-28 18:12:31
1360
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人