conformal_classification：为图像分类器提供不确定性集的预测方法

conformal_classification：为图像分类器提供不确定性集的预测方法

conformal_classification Wrapper for a PyTorch classifier which allows it to output prediction sets. The sets are theoretically guaranteed to contain the true class with high probability (via conformal prediction). 项目地址: https://gitcode.com/gh_mirrors/co/conformal_classification

项目介绍

conformal_classification 是一个开源项目，旨在通过使用符合预测（Conformal Prediction）技术，将任何基于 PyTorch 的分类器修改为输出一个预测集，该预测集可以以指定的概率包含真实类别。这种技术为每个模型和数据集提供了一种正式的有限样本覆盖保证，简单易行且速度快，类似于 Platt 缩放，但它提供了更为严格的保证。

项目技术分析

项目引入了一种名为 Regularized Adaptive Prediction Sets (RAPS) 的方法，该方法在伴随论文中进行了详细介绍。RAPS 方法允许模型不仅在训练过程中学习到分类任务，同时还能学习到如何生成一个包含真实类别的预测集，并且这个预测集的大小会根据测试图像的难度动态变化。

项目的核心是一个名为 ConformalModel 的类，它接受一个预训练模型，并在其上应用 conformal calibration 过程，以生成符合要求的预测集。这个过程涉及选择合适的参数，如 alpha（误差容忍的最大比例）、kreg 和 lamda，这些参数直接影响预测集的大小和覆盖范围。

项目及应用场景

conformal_classification 的应用场景广泛，特别是在对分类结果的可信度要求较高的领域，如医疗图像分类、自动驾驶车辆中的物体识别等。在这些应用中，不仅仅是分类正确与否，更重要的是能够为分类结果提供一个可信度评估，这对于决策支持系统至关重要。

例如，在自动驾驶中，系统不仅需要识别道路上的对象，还需要对这些识别结果的可靠性有明确的了解，以便在关键时刻做出正确的决策。conformal_classification 提供的预测集正是这种可靠性评估的一种形式。

项目特点

1. 易用性：项目设计简洁，易于集成到现有的 PyTorch 模型中。用户只需几行代码即可将模型修改为输出预测集。
2. 可靠性保证：为每个模型和数据集提供正式的有限样本覆盖保证，确保预测集的可靠性。
3. 灵活性：用户可以根据需求调整参数，如 alpha 和 lamda_criterion，以控制预测集的大小和适应度。
4. 开源协议：项目遵循 MIT 开源协议，允许用户自由使用和修改代码，适合学术研究和商业应用。

总结

conformal_classification 项目的引入，为图像分类任务的可信度评估提供了一种新的解决方案。通过简单的集成和使用，它可以为各种应用场景中的模型提供不确定性集，从而帮助决策者更好地理解和利用模型的输出。对于需要高可靠性保证的领域，该项目无疑是一个值得尝试的工具。

conformal_classification Wrapper for a PyTorch classifier which allows it to output prediction sets. The sets are theoretically guaranteed to contain the true class with high probability (via conformal prediction). 项目地址: https://gitcode.com/gh_mirrors/co/conformal_classification