AMiner论文推荐

AMiner论文推荐
论文标题： Out-of-Distribution Generalization via Risk Extrapolation
论文链接：https://www.aminer.cn/pub/5e5f7c4791e011df604ec969?f=cs
在将机器学习预测模型从实验室转移到真实场景时，分布偏移(distributional shifts)是主要障碍之一。为了解决这个问题，我们假设跨训练环境的变化可以反映测试时数据分布的变化，但在测试时分布的变化可能更加极端。特别地，我们提出，减少训练环境间风险的差异可以降低模型对各种极端分布变化的敏感性，可以解决输入中同时包含因果变量和反因果变量的挑战性设定。我们提出了风险外推法(Risk Extrapolation, REx)，是建立在外推域扰动集(MM-REx)上的一种鲁棒优化算法，并提出将训练风险方差作为惩罚项(V-REx)的变体算法。我们证明了V-REx可以恢复目标变量的因果机制，同时也提供了对输入分布变化(“协变量位移”)的鲁棒性。通过对因果诱发的分布偏移和协变量偏移的鲁棒性进行平衡，当这些类型的偏移同时发生的情况下，REx能够比其他方法(如不变风险最小化, Invariant Risk Minimization)表现得更好。
AMiner,让AI帮你理解科学！