9、深度学习中超越全监督的方法探索

深度学习中超越全监督的方法探索

1. 背景

深度学习和卷积神经网络（ConvNets）在人工智能领域历史悠久，是机器学习中较早的预测模型。尽管在 20 世纪 90 年代和 21 世纪初，学界对使用深度学习技术有所保留，但近十年来，深度神经网络取得了巨大成功。自 ConvNets 在 ImageNet ILSVRC’12 挑战赛中表现出色后，深度学习成为了所有视觉识别任务以及数据科学领域（如语音识别、自然语言处理、游戏和机器人技术等）的先进方法。

然而，深度神经网络需要大量带注释的数据才能达到最佳性能，这限制了这些模型的广泛应用，特别是在标注成本高的情况下，如医疗保健领域。因此，设计能够处理有限标注数据的深度学习模型学习方案，是当前一个广泛的研究领域。

在计算机视觉中，“深度特征”利用在大规模数据集（如 ImageNet）上训练的深度 ConvNets，为各种视觉识别任务提供通用的视觉表示。深度特征对大领域转移具有鲁棒性，常用于遥感、医疗保健等领域。下面将介绍使用少量标记样本进行深度学习模型训练的通用解决方案。

2. 弱监督学习（WSL）

弱监督学习（WSL）是指在使用较粗糙的标签（如全局图像标签）进行训练的同时，训练模型以预测准确的标签（如图像分割中的密集预测）。放宽对训练数据进行昂贵的手动和准确标注的要求，使得以合理成本构建大规模数据库成为可能。例如，在计算机视觉领域，用全局标签标注图像可以构建包含数百万个示例的数据库，而像素级标注（即分割）成本高得多，因此只有中等规模的数据集（约数千张图像）可用。处理弱标签数据通常需要用潜在变量扩展表示空间，以建模隐藏因素并弥补弱监督的不足。

早期的 WSL 工作遵循多实例学习（