MAML：隐式梯度元学习（论文解读）

这篇文字介绍了元学习（Meta Learning）的概念以及它在解决小样本学习问题上的应用。

元学习是指学习如何学习，它假设存在一个任务分布，每个任务都包含少量数据。例如，识别猫狗、定位行人、视觉问答、图像分割等都是独立的学习任务。

小样本学习是指在只有少量数据的情况下进行模型训练。由于医疗图像等领域的数据获取成本高，很难获得大量数据进行训练。

迁移学习是一种解决小样本学习问题的常用方法。它利用一个大型数据集（例如ImageNet）预训练一个神经网络，获得初始参数。然后，将这些参数作为起点，针对每个特定任务进行微调，得到针对该任务的参数。

文章重点阐述了以下内容：

1. **元学习的定义和应用场景：**介绍了元学习的概念，并以图像识别、定位、问答、分割等任务为例，说明了元学习在解决小样本学习问题上的重要性。
2. **迁移学习的原理：**解释了迁移学习如何利用预训练模型来解决小样本学习问题。
3. **迁移学习的步骤：**详细说明了迁移学习的步骤，包括利用大型数据集预训练模型，获取初始参数，以及针对每个任务进行微调，获得针对该任务的参数。

**总结：**这篇文字介绍了元学习的概念和应用，以及迁移学习作为一种解决小样本学习问题的有效方法。它强调了在小样本学习场景下，利用预训练模型和微调技术可以有效提高模型性能。

基于梯度的元学习需要对内部优化过程进行完全反向传播，这在计算上是一个噩梦。本文巧妙地引入了二次正则化，从而绕开了这个问题并隐式地计算元梯度。
大纲：0:00 - 简介0:15 - 元学习是什么？9:05 - MAML vs iMAML16:35 - 问题公式化19:15 - 近端正则化26:10 - 隐式梯度的推导40:55 - 为什么这种方法有效43:20 - 完整算法47:40 - 实验论文：https://arxiv.org/abs/1909.04630博客文章：https://www.inference.vc/notes-on-imaml-meta-learning-without-differentiating-through/
摘要：智能系统的一个核心能力是能够通过利用先前的经验快速学习新任务。基于梯度（或优化）的元学习最近成为少样本学习的一种有效方法。在这个公式中，元参数在外部循环中学习，而特定于任务的模型在内部循环中学习，只使用来自当前任务的一小部分数据。扩展这些方法的一个关键挑战是需要对内部循环学习过程进行微分，这会带来相当大的计算和内存负担。通过利用隐式微分，我们开发了隐式 MAML 算法，它只依赖于内部级优化的解决方案，而不依赖于内部循环优化器所采取的路径。这有效地将元梯度计算与内部循环优化器的选择解耦。因此，我们的方法对内部循环优化器的选择是不可知的，并且可以优雅地处理许多梯度步骤，而不会出现梯度消失或内存限制。从理论上讲，我们证明了隐式 MAML 可以计算出准确的元梯度，其内存占用量最多比计算单个内部循环梯度所需的内存占用量多出少量常数因子，并且不会增加总计算成本。在实验中，我们表明，隐式 MAML 的这些优势转化为少样本图像识别基准上的经验收益。