Meta-learning with latent embedding optimization【论文笔记】

论文作者的代码(基于tensorflow)

中文摘要

基于梯度的元学习技术既广泛适用，又能熟练地解决具有挑战性的少样本学习和快速适应问题。 然而，当在极低数据体系中的高维参数空间上操作时，它们具有实际困难。 我们表明，通过学习模型参数的数据依赖潜在生成表示，并在这个低维潜在空间中执行基于梯度的元学习，可以绕过这些限制。 由此产生的方法，潜在嵌入优化（LEO），将基于梯度的自适应过程与模型参数的基础高维空间分离。 我们的评估表明，LEO可以在竞争性的miniImageNet和tieredImageNet轻量级分类任务上实现最先进的性能。 进一步分析表明，LEO能够捕获数据中的不确定性，并且可以通过在潜在空间中进行优化来更有效地执行适应。

解决的问题

基于优化的元学习方法旨在找到一组模型参数，这些参数可以通过几个梯度下降步骤以适应各个任务。然而，仅使用少量样本（通常为1或5）来计算高维参数空间中的梯度可能使得泛化变得困难；尤其是任务无关（Task-invariant）的参数作为起点的情况下，使用少量样本计算梯度来调整参数以适应特定的任务(Task-specific)更为困难。

解决思想

网络框图：

编码器和Relation Net将数据映射到latent Embedding space(表中的z),然后对z进行解码进行解码得到网络参数$\theta$,与MAML不同的是，此论文的元学习操作仅应用与z.

网络工作过程

编码器和Relation Network将第n类的数据映射到均值为${\mu }_n^e$,方差为${\sigma }_n^e$的正态分布： μ n e , σ n e = 1 N K 2 ∑ K n = 1 K ∑ m = 1 N ∑ K m = 1 K g ϕ r ( g ϕ e ( X n k n ) , g ϕ r ( g ϕ e ( X m k m ) ) \mu^e_n,\sigma^e_n=\frac{1}{NK^2}\sum_{K_n=1}^K\sum_{m=1}^N\sum_{K_m=1}^K g_{\phi_{r}}( g_{\phi_{e}}(X_n^{k_n}), g_{\phi_{r}}( g_{\phi_{e}}(X_m^{k_m})) μne​,σne​=NK21​Kn​=1∑K​m=1∑N​Km​=1∑K​gϕr​​(gϕ