本文介绍了数据集蒸馏技术的扩展，包括软标签数据集蒸馏(SLDD)和文本数据集蒸馏(TDD)。SLDD通过学习“软”标签，即每个样本对应多个类别的概率分布，提高了数据集蒸馏的性能。这种方法在MNIST数据集上实现了超过96%的准确率，只需10张蒸馏图像。TDD则将数据集蒸馏应用到文本数据，证明在多个文本任务上性能优越。实验表明，SLDD和TDD可以有效地减少所需的数据量，同时保持或提高模型的准确性，为深度学习模型的训练和优化提供了新的思路。
（二十八）：Soft-Label Dataset Distillation and Text Dataset Distillation
- 出处：CoRR abs/1910.02551 (2019)
- 标题：软标签数据集蒸馏和文本数据集蒸馏
- 主要内容：数据集蒸馏，提出了软标签数据集蒸馏SLDD和文本数据集蒸馏TDD
Abstract
数据集蒸馏是一种通过学习少量包含大数据集所有信息的合成样本来减小数据集大小的方法。这有几个好处，比如：加速模型训练，减少能源消耗，减少所需的存储空间。目前，每个合成样本都被指定一个“硬”标签，而且数据集蒸馏目前只能用于图像数据。
我们建议：同时提取图像和它们的标签，从而为每个合成样本分配一个“软”标签(标签的分配)。对于一些图像分类任务，我们的算法比原始算法提高了2-4%的准确率。使用“软”标签还可以使经过提炼的数据集包含的样本比类更少，因为每个样本可以为多个类编码信息。例如，用10个蒸馏图像(每个类一个)训练一个LeNet模型，MNIST的准确率超过96%，如果只训练5个蒸馏图像，准确率几乎达到92%。
我们还扩展了数据集蒸馏算法，以提取序列数据集包括文本。我们证明了文本精馏在多数据集上的性能优于其他方法。例如，在IMDB情感分析任务中，模型仅使用20句精炼的句子就几乎达到了最初的准确性。
代码：https://github.com/ilia10000/dataset-distillation
关键词：数据集蒸馏，知识蒸馏，神经网络，合成
数据,梯度下降
1. Introduction
现代深度学习
订阅专栏 解锁全文
扫一扫
606
到【灌水乐园】发言
