机器学习模型调试新方法解析

机器学习模型调试新方法解析

在现实世界数据分布与测试集存在差异时，机器学习模型的性能评估可能过于乐观。模型仍会出现意外失败，例如系统性地错误处理某些输入类型。

在NeurIPS 2021可解释AI研讨会上，研究人员提出Defuse方法，能够自动发现特定输入类型的模型错误并提供修正方案。该方法针对训练好的图像分类模型，生成与测试集输入相似但具有变化的新图像，然后将误分类图像归类为高级别的"模型缺陷"——即导致持续错误的相似图像组。

技术实现

数据增强

通过变分自编码器（VAE）在分类器训练数据上生成合成图像。VAE通过潜在空间表示捕获输入数据的关键特性，在潜在空间中邻近点表示数据相似性。

三阶段流程

1. 识别阶段：使用训练好的VAE编码所有训练图像，通过对潜在代码添加微小噪声生成语义差异的新实例，保存被分类器误分类的实例

2. 蒸馏阶段：通过聚类模型将上一步图像的潜在代码分组以诊断误分类区域。采用带有狄利克雷过程先验的高斯混合模型，因为聚类数量事先未知

3. 校正阶段：将标注人员标记的聚类数据与原始训练数据按参数λ的比例混合进行重新训练

实验结果

在三个公共基准数据集上的实验表明，Defuse能有效修正识别和蒸馏阶段发现的错误。通过比较误分类区域数据与误分类训练数据，证实该方法能发现训练集中未体现的新型错误类型。

该方法代码已在GitHub上公开，以促进相关研究的进一步发展。

数据集图像潜在空间编码（蓝点）与生成新样本（黑点）的低维可视化

三个测试数据集中各误分类区域的样本示例
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码