mixup：超越经验风险最小化（论文解读）

这篇论文提出了一种简单但有效的技术，用于改进分类器训练。

核心思想: 传统的机器学习模型通常只在训练数据集中已有的数据点上进行训练，这会导致模型过度拟合，在未见过的样本上表现不佳。论文建议在训练数据点之间生成新的数据点，称为“混合数据点”。这些混合数据点由两个相邻数据点的线性组合构成，其标签也由两个数据点标签的线性组合得到。

具体做法: 假设有两个数据点 A 和 B，分别属于类别 1 和类别 2。混合数据点可以表示为 0.1B + 0.9A，其标签为 0.1 * 2 + 0.9 * 1 = 1.1。

优势: 通过在训练数据点之间生成新的数据点，模型可以更好地学习数据分布，从而提高泛化能力。

简而言之: 这篇论文提出了一种简单的技术，通过在训练数据点之间生成新的数据点，来提高分类器的泛化能力。

神经网络在高维空间中经常绘制硬边界，这使得它们非常脆弱。Mixup 是一种在训练时对数据和标签进行线性插值的技巧，它可以实现更平滑、更规则的类别边界。
大纲：0:00 - 简介0:30 - ERM 的问题2:50 - Mixup6:40 - 代码9:35 - 结果https://arxiv.org/abs/1710.09412摘要：大型深度神经网络功能强大，但表现出诸如记忆和对对抗性示例敏感等不良行为。在这项工作中，我们提出了 mixup，这是一种简单的学习原则，可以缓解这些问题。本质上，mixup 在一对示例及其标签的凸组合上训练神经网络。通过这样做，mixup 对神经网络进行正则化，使其有利于训练示例之间的简单线性行为。我们在 ImageNet-2012、CIFAR-10、CIFAR-100、Google 命令和 UCI 数据集上的实验表明，mixup 提高了最先进的神经网络架构的泛化能力。我们还发现，mixup 减少了对损坏标签的记忆，提高了对对抗性示例的鲁棒性，并稳定了生成对抗网络的训练。