DATASET DISTILLATION 论文总结

数据集蒸馏：新视角与优化策略

最新推荐文章于 2025-07-03 18:00:00 发布

原创

最新推荐文章于 2025-07-03 18:00:00 发布 · 2.1k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#数据集蒸馏

本文深入探讨了数据集蒸馏的概念，通过固定或随机权重初始化，生成新数据集以优化模型。研究发现，一次迭代更新后的数据集（蒸馏数据）可以达到高精度。论文重点分析了优化蒸馏数据、权重随机初始化的影响，以及在简单线性案例中的表现。提出的反向梯度优化技术加速了多epoch训练，但在复杂数据集上可能面临计算挑战。尽管增加了计算复杂性，数据集蒸馏为网络训练提供了新思路。

以往的方法是不断地输入数据集，通过反向传播迭代的方法，更新网络权重，从而达到想要的训练结果。这篇论文提供了一个新的角度，对于分类网络来说，首先根据原来的数据集和网络的初始化权重（固定或随机），通过反向传播迭代更新新的数据集（生成的新数据集）。来形成新的几乎等于（大于等于）分类数量的数据集，再经过有限的几次迭代以后就可以达到比较高的精度。