推荐开源项目：评估与校准不确定真实标签的AI模型

推荐开源项目：评估与校准不确定真实标签的AI模型

uncertain_ground_truth Dermatology ddx dataset, Jax implementations of Monte Carlo conformal prediction, plausibility regions and statistical annotation aggregation from our recent work on uncertain ground truth (TMLR'23 and ArXiv pre-print). 项目地址: https://gitcode.com/gh_mirrors/un/uncertain_ground_truth

项目介绍

在现代AI应用中，模型的评估和校准是确保其可靠性和安全性的关键步骤。然而，传统的评估和校准方法往往假设真实标签是确定的，这在许多实际场景中并不成立。为了解决这一问题，我们推荐一个开源项目——Evaluation and calibration with uncertain ground truth，该项目由DeepMind团队开发，旨在处理具有不确定和模糊真实标签的AI模型的评估和校准问题。

项目技术分析

核心技术

1. 统计模型聚合：

   • 该项目提出了一种基于统计模型的聚合方法，用于处理标注不确定性。通过将标注聚合视为后验推理过程，计算所谓的“可信度”，从而更准确地反映类别分布。

2. 不确定性度量：

   • 项目引入了一种新的度量标准，用于量化标注不确定性，并提供调整后的性能评估指标，以更真实地反映模型表现。

3. 一致性预测（Conformal Prediction, CP）：

   • 利用一致性预测进行严格的不确定性量化，通过构建预测集来保证真实标签以高概率被包含在内。项目进一步提出蒙特卡洛一致性预测（Monte Carlo CP），直接利用标注信息生成多个伪标签，从而提供更可靠的覆盖保证。

技术亮点

• 处理标注不确定性：通过统计模型聚合标注，避免了传统确定性聚合方法的局限性。
• 蒙特卡洛一致性预测：提供了一种更灵活和可靠的不确定性量化方法，适用于标注不一致的情况。

项目及技术应用场景

应用领域

1. 皮肤病诊断：

   • 项目在皮肤病分类的案例研究中展示了其有效性，特别是在专家标注存在显著不一致的情况下，能够更准确地评估和校准模型。

2. 多标签分类：

   • 项目提供的蒙特卡洛一致性预测方法同样适用于多标签分类任务，如基于MNIST数据集的合成多标签数据。

典型应用场景

• 医疗影像分析：在医疗影像分析中，专家标注往往存在不确定性，该项目提供的方法可以有效提升模型评估和校准的准确性。
• 自然语言处理：在文本分类任务中，标注的不一致性也是一个常见问题，该项目的技术可以应用于此类场景，提高模型的可靠性。

项目特点

1. 开源数据集：

   • 项目开源了“皮肤病差分诊断（ddx）数据集”，包含1947个病例的专家标注和模型预测，为未来的研究提供了宝贵的基准数据。

2. 易于复现：

   • 项目提供了详细的安装和使用指南，用户可以轻松复现论文中的实验结果，包括在玩具数据集和皮肤病数据集上的应用。

3. 模块化设计：

   • 项目的各个组件均可独立使用，如标准一致性预测、蒙特卡洛一致性预测、p值组合等，方便用户根据具体需求进行定制。

4. 强大的社区支持：

   • 由DeepMind团队开发，项目背后有强大的研究支持和社区贡献，保证了其持续更新和维护。

安装与使用

安装步骤

1. 安装Conda：

   conda env create -f environment.yml
   conda activate uncertain_ground_truth
   

2. 克隆仓库：

   git clone https://github.com/deepmind/git
   cd uncertain_ground_truth
   

3. 运行测试：

   python -m unittest discover -s . -p '*_test.py'
   

使用示例

• 复现论文实验：

  • 运行colab_toy_data.ipynb生成玩具数据集。
  • 运行colab_mccp在玩具数据集和皮肤病数据集上进行实验。

• 多标签分类任务：

  • 运行colab_mnist_multi_label.ipynb在MNIST衍生数据集上进行蒙特卡洛一致性预测。

结语

Evaluation and calibration with uncertain ground truth项目为处理不确定真实标签的AI模型评估和校准提供了强大的工具和方法。无论是学术研究还是工业应用，该项目都具有极高的实用价值和潜力。欢迎广大开发者和研究人士使用和贡献，共同推动AI技术的进步。

uncertain_ground_truth Dermatology ddx dataset, Jax implementations of Monte Carlo conformal prediction, plausibility regions and statistical annotation aggregation from our recent work on uncertain ground truth (TMLR'23 and ArXiv pre-print). 项目地址: https://gitcode.com/gh_mirrors/un/uncertain_ground_truth