M56700的博客

原创 深度学习应用-优化导向的元学习：MAML、LEO与Reptile模型

MAML（模型无关的元学习）：MAML 是一种与模型无关的元学习方法，适用于所有采用梯度下降优化的模型。通过从少量数据中寻找合适的初始参数范围，MAML 改变梯度下降的方向，使得模型能在新的任务上快速适应，并在有限的数据集上实现高效拟合。此方法广泛应用于回归、分类任务及强化学习中。内层优化涉及到基学习器，从任务分布pT中随机采样第i个任务Ti​。任务Ti​上，基学习器的目标函数是：其中，fϕ​是基学习器，ϕ是基学习器参数，LTi​​fϕ​是基学习器在Ti​。