华院论文 | 面向数据驱动深度学习的快速分布鲁棒优化方法

【摘要】我们介绍了一种可扩展且快速的方法来解决分布鲁棒优化 (DRO)。DRO 在训练数据与测试数据分布不一致时（以下统称“不确定集”）上优于经验风险。然而，由于大规模数据带来的计算复杂度和不可微的目标函数，DRO 很难应用于大规模数据集训练深度神经网络。在本文中，我们将 DRO 问题形式化为子组损失函数的上界，即利用” 一类非 i.i.d. 情形下的鲁棒学习算法”求解学习算法的下降方向。实验结果展示了利用新的DRO算法训练深度神经网络，成功地提升了不确定集设定下的极不平衡学习和开集学习的算法性能。 关键词：分布鲁棒优化、深度学习、收敛速度

作者：沈旭立

刊物：CCF-B类数据挖掘领域顶会 ICDM (IEEE International Conference on Data Mining)，本年接受率为9.77%。

致谢：论文撰写过程中得到UniDT 认知计算和小样本学习项目，以及NSFC项目 (62176061) 的支持。同时，感谢高盛华老师的指导建议。

介绍

开放世界的数据集，例如具有长尾分布的自然图像分类，医疗影像分类，或人脸属性、情绪等分类任务，会遇到训练分布与测试分布不一致的挑战。例如在自然图像分类中包含了100只柴犬与1只中华田园猫图片，但是测试集中包含同比例的猫与狗图片，并混入了含噪声的拉布拉多犬。又如，在罕见病(脑动静脉畸形)的医疗训练集中包含了100个正样本和1个负样本，在测试集中存在未见过形态的负样本。我们不难看出开放世界的数据集具有极不平衡学习与开集(分类未知集)学习的特点。如果利用传统方法训练上述类型的数据，会导致模型偏向学习权重大的类别，并难以区分未见类。

分布鲁棒优化 (DRO) 能够使在测试分布与训练分布不一致时稳定地训练模型。我们省略正则化项，DRO  的形式可以写成：

其中，ζ表示观测数据{(x1,y1),…,(xn,yn)}上的损失函数，参数θ∈Rn属于模型g，p指的是概率分布p = (p1,p2,…pn) | ∑ni=1 pi =1，pi > 0，h(p,1/n)是一个在 p 和均匀概率 1/n 之间的测量函数。为了解决上述优化问题，已有工作提出了许多随机对偶方法并在小规模数据上取得了良好的性能。

目前，数据驱动的深度学习方法主导了计算机视觉和自然语言处理领域。传统方法无法处理如此大规模的高维数据。具体来讲：(1) 求解 p 忽略了大规模数据集中 n 个数据点数值优化的 0(n) 空间复杂度，以及 (2) 来自 d 的复杂度，即高维参数空间，尤其是深度神经网络。因此，通过分布的距离(wasserstein distance等)衡量的不确定集的分布差异会受到计算成本的影响。

我们利用了“一类非 i.i.d. 情形下的鲁棒学习算法”中的方法解决上述问题。在不确定集中，我们没有使用 n 个数据点，而是集中讨论分成 j 个子组的不确定集。基于标签划分的子组，我们为 DRO 提出了有效且实用的学习方法。我们用子组的最大期望误差来代替经验风险。然而，通过梯度下降法方法很难找到这个问题的解决方案，并且普通的 DRO 的采样策略也不直接。为了解决这个问题，每个子组的数据都独立于每个子组内的相同分布进行采样。计算框架如图1所示：

表I为我们提供了我们的方法与  DRO