学习笔记|元学习（Meta-learning）——让机器学习如何学习

1. 元学习概述

元学习的意思即**“学会如何学习”** 。 在机器学习中，工作量最大也是最无聊的事情就是调参。我们针对每一个任务从头开始进行这种无聊的调参，然后耗费大量的时间去训练并测试效果。因此，一个直观的想法是：我们是否能让机器自己学会调参，在遇到相似任务时能够触类旁通、举一反三，用不着我们从头开始调参，也用不着大量标签数据重新进行训练。
通常的机器学习是针对一个特定的任务找到一个能够实现这个任务的function，例如猫和狗的分类任务。而元学习的目标就是要找到一个Function能够让机器自动学习原来人为确定的一些超参（Hyper-parameter），如初始化参数${\theta }_0$、学习速率$\eta$、网络架构等，元学习的分类就是看学习的是什么超参。这个Function用$F_{\varphi }$表示，$F_{\varphi }$不是针对某一个特定任务的，而是针对一群类似的任务，例如这些任务可能包括猫和狗的分类、橘子和苹果的分类、自行车和摩托车的分类等等。这个$F_{\varphi }$是要帮这一群类似任务找到一个好的超参，在下次再遇到相似任务的时候，初始化参数可以直接用上，用不着我们再调参了。

元学习是跨任务学习（multi-task learning），因此它需要收集多个类似任务的数据集。比如针对图片二分类任务，我们需要收集橙子和苹果训练数据和测试数据、自行车和汽车的训练数据和测试数据等等许多二分类任务的数据集。元学习的目标是：利用$F_{\varphi }$找到最优的超参$\varphi$，使各任务在超参$\varphi$的基础上训练出最优参数后测试得到的损失值$l^n$的和最小。这句话讲起来比较难以理解，举个例子比较好明白：对于苹果和橙子的分类任务，在超参 ϕ \phi