论文《Zero-Shot Cross-Lingual Transfer with Meta Learning》探讨了元学习如何用于跨语言的自然语言推理（NLI）和问题回答（QA）任务。通过Model Agnostic Meta-Learning (MAML)和X-MAML，模型能在有限的样本上快速适应新任务。实验表明，元学习有助于跨领域和跨语言的任务表现，尤其是在zero-shot设置中。
阅读论文《Zero-Shot Cross-Lingual Transfer with Meta Learning》
这篇论文的工作是将利用元学习的方法提出了一个跨语言的迁移学习模型，并将此模型用在了自然语言推理和问题回答这两个任务上。
元学习具体有三种可执行的方法，一是基于指标的，此方法聚焦于在相似的指标下衡量不同任务的特征表示的相似性；二是基于模型的，此方法聚焦于调节那些学习效率很高的模型，第三种是基于优化的，也是本文所要讨论的，此方法聚焦于寻找最佳的初始参数值然后将其快速用于新的任务上。为此，作者提出了Model Agnostic Meta-Learning (MAML)，假设有若干个参数服从相同分布的新任务，那么只需要几个任务的实例，便可以MAML便可以快速应用到这几个新任务上。
假设有有几个任务的参数的分布都服从于分布，假设对于某一任务，它的参数可由下列式子进行更新：
是学习到的模型，是该任务的损失函数。这里的参数后面也将被用于其他任务上并使得整个的所有任务的损失达到最小，也就是目标函数：
达到最小。此时，参数的更新公式如下：
MAML在原语言和目标语言之间的训练过程有较麻烦的改变，为了使得这
最低0.47元/天 解锁文章
扫一扫
167
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
