25、机器学习模型概率校准全解析

机器学习模型概率校准全解析

在机器学习领域，模型预测的概率校准是一个关键环节，它能让模型输出的概率更准确地反映真实情况。接下来，我们将深入探讨概率校准的相关知识，并通过具体的代码示例进行说明。

1. 能自然产生校准概率的算法与需校准的算法

在众多机器学习算法中，有些算法能够自然地产生校准概率，而有些则需要进行校准。以下是具体分类：
- 能自然产生校准概率的算法 ：
- 逻辑回归（Logistic Regression）
- 线性判别分析（Linear Discriminant Analysis）
- 朴素贝叶斯（Naive Bayes）
- 人工神经网络（Artificial Neural Networks）
- 需要校准概率的算法 ：
- 支持向量机（Support Vector Machines）
- 决策树（Decision Trees）
- 决策树集成（如装袋法、随机森林、梯度提升等）
- k近邻算法（k-Nearest Neighbors）

训练数据集中的偏差，例如类别分布的不均衡，会导致模型通常对多数类预测的概率高于少数类。即使是像逻辑回归这样通常能产生校准概率的模型，也可能会过度关注多数类，从而低估少数类实例的概率。

2. 概率校准的方法

概率校准的核心是重新调整概率值，使其更好地匹配训练数据中观察到的分布。主要有两种方法：
- Platt Scaling ：这是一种相对简单的方法，最初是为了将支持向量