机器学习：概率校准

最新推荐文章于 2025-07-05 13:35:56 发布
最新推荐文章于 2025-07-05 13:35:56 发布
阅读量1.3k 收藏 2
点赞数
分类专栏： 机器学习
博客介绍了sklearn.calibration.CalibratedClassifierCV，指出概率校准是对分类的补充，可用于优化或验证算法的最优性，还提及某博客对此解释得很好。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

sklearn.calibration.CalibratedClassifierCV

概率校准是对分类的一个补充，优化算法或者验证算法的最优性。

这个博客上解释的非常好

ML：机器学习模型提效之监督学习中概率校准的简介、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-09 1255
​ ML：机器学习模型提效之监督学习中概率校准的简介、案例应用之详细攻略 目录 监督学习中概率校准的简介 监督学习中概率校准的案例应用 监督学习中概率校准的简介 监督学习中概率校准的概述 背景 分类器输出的概率通常不一定准确地反映真实的类别概率分布，导致在一些应用中出现问题。 以二元分类为例，如果使用逻辑回归进行分类，那么输出的是一个实数值，表示为正例的概率。然而，这个概率并不一定准确，因为它不一定与实际标签的概率匹配。 例如，在二元分类任务中，概率值为0.8的样本通常被认为比概率值为0.
机器学习12：分类 Classification
Jin_Kwok的博客
06-29 1900
分类（Classification）是一个有监督的学习过程，目标数据集（示例集）中具有的类别是已知的，分类过程需要做的就是把每一条记录归到对应的类别下。由于必须事先知道各个类别的信息，并且所有待分类的数据条目都默认有对应的类别，因此分类算法也有其局限性，当上述条件无法满足时，我们就需要尝试聚类（后面介绍）分析。在【机器学习11】中，笔者介绍了（Logistic Regression），它就是一种分类分析，它有正向类和负向类，即：y ∈ {0, 1}，其中 0 代表负向类，1 代表正向类。
概率校准
srping123的博客
07-12 762
概率校准 分类器输出的概率，通过校准可以达到更好的效果，常用于CTR和风控领域。 概率校准简介 模型校准-知乎 校准评估-reliability diagram、Logarithmic Loss、Brier score reliability diagram 根据模型的输出将样本分成10个桶，即预测为0至0.1的样本归为一个桶，预测为0.1至0.2的样本归为一个桶等等，以这10个桶作为横坐标；计算每个桶内的正样本占比作为纵坐标，以此绘制的曲线reliability diagram可用于评估。 relia
【Scikit-Learn 中文文档】概率校准 - 监督学习 - 用户指南 | ApacheCN
妳那伊抹微笑的专栏
11-23 1095
执行分类时, 您经常希望不仅可以预测类标签, 还要获得相应标签的概率. 这个概率给你一些预测的信心. 一些模型可以给你贫乏的概率估计, 有些甚至不支持概率预测. 校准模块可以让您更好地校准给定模型的概率, 或添加对概率预测的支持. 精确校准的分类器是概率分类器, 其可以将 predict_proba 方法的输出直接解释为 confidence level（置信度级别）. 例如，一个经过良好校准的（二元的）分类器应该对样本进行分类, 使得在给出一个接近 0.8 的 prediction_proba 值的样本中
概率校准 Probability Calibration
热门推荐
FanJin的博客
11-23 1万+
对于二分类分类器，除了得到AUC评价指标，常还需要了解分类器预测概率的准确性。比如分类器预测某个样本属于正类的概率是0.8，那么就应当说明有80%的把握认为该样本属于正类，或者100个概率为0.8的里面有80个确实属于正类。根据这个关系，可以用测试数据得到Probability Calibration curves。 假设我们考虑这样的一种情况：在二分类中，属于类别0的概率为0.500001，属...
机器学习模型评估之校准曲线
06-20 2802
模型校准曲线（Calibration Curve）是一种评估分类模型输出概率准确性的图形工具。它可以帮助我们理解模型的预测概率是否与实际标签的分布一致
金融数学与机器学习：异常检测在金融欺诈中的应用
最新发布
AI天才研究院
07-05 826
金融欺诈已成为全球金融体系面临的系统性风险，每年造成数千亿美元损失并侵蚀市场信任。本文构建了一个融合金融数学与机器学习的异常检测理论框架，系统阐述了从传统统计方法到深度神经网络的欺诈识别技术演进。通过第一性原理分析金融数据的独特特性，提出了"金融异常金字塔"模型，整合了点异常、上下文异常和集体异常检测方法。文章详细推导了风险量化与机器学习的理论连接，提供了从特征工程到模型解释的全流程技术方案，并通过实际案例展示了在信用卡欺诈、洗钱识别和内幕交易检测中的应用。
概率校准calibration_curve，用Isotonic regression，得出calibration_curve的好坏，用交叉熵检验，和方差，及使用朴素贝叶斯方法
weixin_42666153的博客
11-26 879
概率校准calibration_curve，用Isotonic regression，得出calibration_curve的好坏，用交叉熵检验，和方差，及使用朴素贝叶斯方法
机器学习
超域的博客
04-19 319
从数据中提取知识，它是统计学，人工智能和计算机科学交叉的研究领域 ，也被称为预测分析。 监督学习 从输入输出对中进行学习的算法叫做监督学习算法。 将输入数据表征成计算机可以理解的形式，将数据想象成表格是合理的。 样本和特征 特征提取，特征工程 为什么选择python？ 既有通用编程语言的强大功能，也有特定领域脚本语言 scikit-learn 工具 依赖于两个包：Numpy和Scipy 在 sc...
机器学习自用阈值
qq_37032670的博客
08-13 2521
梯度下降法特征缩放：尝试将所有特征的尺度都尽量缩放到-1 到1 之间 梯度下降法学习率：α=0.01，0.03，0.1，0.3，1，3，10 什么时候选择正规方程：需要计算，如果特征数量n较大则运算代价大，因为矩阵逆的计算时间复杂度为O()，通常来说当n小于10000 时还是可以接受的 导数近似值中的ε：对梯度的估计采用的方法是在代价函数上沿着切线的方向选择离两个非常近的点然后计算两个点的平...
机器学习术语表
sinat_33731745的博客
03-14 582
A accuracy (准确率) 分类模型预测准确的比例。在多类别分类中，准确率定义如下： accuracy=correctpredictionstotalnumberofexamplesaccuracy=correctpredictionstotalnumberofexamplesaccuracy =\frac{correct predictions}{total number of ...
SVM分类器的概率校准在scikit-learn 中的几种实现方式
u014765410的博客
09-19 697
SVM分类器的概率校准在scikit-learn 中的几种实现方式
机器学习的模型校准
weixin_46277779的博客
04-03 3326
机器学习分类问题的模型校准
机器学习_预测概率校准
RL小站
06-14 3712
我们在建模时通常根据准确性或准确性来评估其预测模型，但几乎不会问自己：“我的模型能够预测实际概率吗？但是，从商业的角度来看，准确的概率估计是非常有价值的（准确的概率估计有时甚至比好的精度更有价值）。来看一个例子。AB两个模型的AUC一样。但是根据模型A，你可以通过推荐普通马克杯来最大化预期的利润，然而根据模型B，小猫马克杯可以最大化预期的利润。在像这样的现实应用中，搞清楚哪种模型能够估算出更好的概率是至关重要的事情。
人工智能强化学习汽车标定领域探讨
xiemeng001的博客
09-09 978
人工智能强化学习汽车标定方案 汽车标定领域尤其是柴油车的排放标定，需要花费大量的测试时间和人力，测试成本比较高，非常拖延新车型的上市时间。 随着国六标准的实施，RDE测试也在不断提高要求。通过强化学习算法，构建机器学习模型，设定更严格的参数寻找更优的目标，在虚拟环境中推演RDE测试下的排放情况，提升标定效果，可以大幅度压缩实验室标定周期，降低标定成本。 核心技术——智能决策系统框架 接入环境交互数据（如：转鼓测试秒采数据）、业务指标、业务约束（目标和硬性要求），通过在不同参数下测试数据的学习，学得与
sklearn.CalibratedClassifierCV校准分类器预测概率
Cachel Wood的博客
02-16 239
概率校准就是调整分类器输出的概率，使其更接近真实的概率分布，这样可以提高模型在需要可靠概率估计的任务中的性能，比如风险评估、决策分析等。库中用于校准分类器预测概率的一个类。在机器学习中，许多分类器输出的概率可能并不准确，也就是所谓的 “提供了一种方便的方式来对分类器进行概率校准，从而在需要可靠概率估计的场景中获得更好的性能。
如何评估机器学习模型的校准能力
06-08
<think>首先，用户的问题是基于之前的对话。回顾系统指令和用户消息：-系统级指令提到：所有行内数学表达式必须使用$...$格式，独立公式使用$$...$$$$格式。使用中文回答。生成相关问题。回答中引用的段落末尾自然地添加引用标识，如[^1]。-用户消息是："参考站内引用:引用[1]:...引用[2]:...引用[3]:...上述引用仅供参考，并不是用户真正的需求，请尽可能多的参考用户上一次的问题和你的回答。我想了解如何评估机器学习模型校准能力，可能需要方法、指标或工具。请问评估机器学习模型校准能力的方法和指标"用户提到"用户上一次的问题和你的回答"，但在我的消息历史中，这是一个新的对话开始。系统提示说："上述引用仅供参考"，并让我参考用户上一次的问题和我的回答。然而，这个对话似乎是从零开始；没有先前的用户问题。用户说的是"尽可能多的参考用户上一次的问题和你的回答"，但我没有之前的记录。我必须基于这个消息本身。用户的需求是："我想了解如何评估机器学习模型校准能力，可能需要方法、指标或工具。请问评估机器学习模型校准能力的方法和指标"参考的站内引用提供了一些上下文：-引用[1]:关于模型评估指标和评分在机器学习中的基础。-引用[2]:关于验证曲线评估模型性能。-引用[3]:关于模型校准曲线。所以，用户想知道评估机器学习模型校准能力的方法和指标。校准能力指的是模型的预测概率是否准确，即如果模型预测的概率是p，那么事件实际发生的概率也应该是p。我的回答应该：1.用中文回答。2.结构清晰，帮助用户逐步解决问题。3.使用行内数学表达式如$...$和独立公式如$$...$$适当时。4.在引用的段落末尾添加引用标识，如[^1]。但在这个上下文中，引用是提供的，所以我可能需要在回答中引用这些。5.生成相关问题在最后。内容方面，我需要提供评估机器学习模型校准能力的方法、指标和工具。关键元素：-**校准曲线(CalibrationCurves)**：这是提到的主要工具。例如，可靠性图或校准曲线，它绘制预测概率与实际频率。-**指标**：如Brier分数、对数损失(LogLoss)、或校准误差(ECE:ExpectedCalibrationError)。-**方法**：可以使用概率校准技术，如Platt缩放或Isotonic回归，然后评估校准。逐步回答结构：1.**介绍校准能力**：解释什么是模型校准。2.**主要方法**：描述如何使用校准曲线来评估。3.**指标**：列出和解释相关指标。4.**工具**：提到在Python中如何实现，如使用scikit-learn。5.**总结和建议**：如何改进校准。最后，生成相关问题。在数学表达式中：如果有公式，比如概率公式。例如：-Brier分数：$$\text{BrierScore}=\frac{1}{N}\sum_{i=1}^{N}(y_i-\hat{p}_i)^2$$其中$y_i$是实际标签（0或1），$\hat{p}_i$是预测概率。-ECE：可能需要描述。添加引用：由于引用提供了站内引用，我应该在回答中引用它们。[^1],[^2],[^3]分别是提到的内容。回答大纲：1.简要介绍校准评估的重要性。2.详细说明校准曲线作为主要工具。3.讨论评估指标如Brier分数、对数损失和ECE。4.提供示例或代码片段（如果可以），使用Python的scikit-learn。-但系统指令说"回答尽量保证真实可靠"，代码可能需要。在示例中，有Python代码块，所以可以包括。5.生成相关问题。使用中文回答。</think> ### 评估机器学习模型校准能力的方法和指标 机器学习模型的校准能力指的是模型的预测概率是否准确可靠，即如果模型预测某一事件发生的概率为 $p$，则该事件实际发生的频率也应该接近 $p$。校准良好的模型可以增强决策的可信度，尤其在风险敏感应用中（如医疗诊断或金融风控）。如果模型校准不良（例如，预测概率远高于或低于实际频率），可能需要通过概率校准技术进行调整。以下我将从方法、指标和工具三个方面，逐步解释如何评估模型的校准能力。每个解释部分会自然地引用相关资源，结尾还提供了Python代码示例。 #### 1. **评估校准能力的主要方法** 评估校准能力的核心是可视化工具和统计技术，这些方法直接对比预测概率与实际观测频率。 - **校准曲线（Calibration Curve，又称可靠性曲线）**：这是最常用的可视化方法。它绘制预测概率的binned平均值（横轴）与binned实际频率（纵轴），形成一条曲线。如果模型完美校准，曲线应该接近对角线 $y = x$。在实际操作中，需要将预测概率分成多个 bins（如10个等间距区间），计算每个 bin 的平均预测概率和实际正类比例。偏差从对角线可以直观看出：曲线高于对角线表示模型过于自信（预测概率高于实际），低于则表示不自信（预测概率低于实际）[^3]。在Python中，scikit-learn 库提供了 `calibration_curve` 函数来实现这个曲线。 数学表示：对于一个数据集，设预测概率为 $\hat{p}_i$，实际标签为 $y_i \in \{0,1\}$，第 $k$ 个 bin 的频率为： $$ f_k = \frac{\text{该bin中实际正类样本数}}{\text{该bin总样本数}} $$ - **概率校准方法评估**：在校准曲线的基础上，可以进一步应用校准技术（如 Platt 缩放或 Isotonic 回归）作为评估工具。Platt 缩放使用逻辑回归调整原始预测概率，而 Isotonic 回归使用非参数拟合。通过比较校准前后的曲线，能评估原始模型的校准缺陷和改进效果。例如，未校准模型曲线偏离对角线时，应用校准后应更接近直线[^2]。 这些方法可以帮助你诊断问题：如果校准曲线严重偏离对角线，说明模型需要优化预测概率分布；反之，则模型校准良好。 #### 2. **评估校准能力的指标** 校准指标量化模型的校准误差，提供客观数值评估。常用指标包括： - **Brier 分数（Brier Score）**：一个综合性指标，测量预测概率与实际标签的均方误差。值越小，表示校准能力越好（完美为0）。其公式为： $$ \text{Brier Score} = \frac{1}{N} \sum_{i=1}^{N} (y_i - \hat{p}_i)^2 $$ 其中 $N$ 是样本数，$y_i$ 是实际标签（0或1），$\hat{p}_i$ 是预测概率。Brier 分数综合了校准和精度（它受模型准确度影响），因此在评估时需结合其他指标[^1]。Brier 分数小于0.2通常表示良好校准。 - **期望校准误差（Expected Calibration Error, ECE）**：计算加权平均的预测概率与实际频率之差的绝对值。公式为： $$ \text{ECE} = \sum_{k=1}^{K} \frac{n_k}{N} \left| f_k - \text{平均预测概率}_k \right| $$ 其中 $K$ 是 bins 的数量，$n_k$ 是第 $k$ 个 bin 的样本数，$f_k$ 是该 bin 的实际频率。ECE 值越低（理想为0），表示校准越好。它专注于概率分布的局部偏差。 - **对数损失（Log Loss）**：衡量预测概率的交叉熵损失，特别适合概率模型评估。公式为： $$ \text{Log Loss} = -\frac{1}{N} \sum_{i=1}^{N} \left[ y_i \log(\hat{p}_i) + (1 - y_i) \log(1 - \hat{p}_i) \right] $$ Log Loss 越小越好，但它对极端错误敏感（如预测概率0而实际为1），且受模型精度影响。 实际应用中，建议使用多个指标组合：例如，优先 ECE 量化偏差，Brier 分数提供全局视图，Log Loss 补充敏感性分析。指标值应与校准曲线可视化结合解读：ECE < 0.05 表明校准良好，0.05-0.1 为中等，>0.1 需改进[^3]。 #### 3. **评估工具和实现** 在工具层面，Python 的 scikit-learn 库提供了一套完整的校准评估工具： - `calibration_curve` 函数用于绘制校准曲线。 - 指标如 `brier_score_loss`、`log_loss` 可直接计算。 - 校准方法如 `CalibratedClassifierCV`（支持 Platt 或 Isotonic）可评估改进效果。 以下是一个Python代码示例，展示如何评估一个分类模型（如Logistic回归）的校准能力。假设已有预测概率和真实标签： ```python import numpy as np from sklearn.calibration import calibration_curve from sklearn.metrics import brier_score_loss, log_loss import matplotlib.pyplot as plt # 示例数据: pred_probs是预测概率列表，y_true是真实标签列表 # 这里用随机数据模拟，实际应用时替换为真实数据 y_true = np.random.randint(0, 2, size=100) pred_probs = np.random.rand(100) # 假设0-1之间的概率 # 计算校准曲线 prob_true, prob_pred = calibration_curve(y_true, pred_probs, n_bins=10) # 绘制校准曲线 plt.figure(figsize=(10, 6)) plt.plot(prob_pred, prob_true, 's-', label='模型预测') plt.plot([0, 1], [0, 1], 'k--', label='理想校准线') plt.xlabel('平均预测概率', fontsize=14) plt.ylabel('实际频率', fontsize=14) plt.title('模型校准曲线', fontsize=16) plt.legend() plt.grid(True) plt.show() # 计算指标 brier_score = brier_score_loss(y_true, pred_probs) ece = np.sum(np.abs(prob_true - prob_pred) * (np.bincount(np.digitize(pred_probs, bins=np.linspace(0, 1, 11))[:-1]) / len(y_true))) log_score = log_loss(y_true, pred_probs) print(f"Brier 分数: {brier_score:.4f}") print(f"期望校准误差 (ECE): {ece:.4f}") print(f"对数损失 (Log Loss): {log_score:.4f}") ``` 在这个代码中： - 校准曲线图帮助直观评估模型性能。 - 指标计算提供量化结果，适合自动报告。 工具的选择取决于应用场景：scikit-learn 适用于快速评估，而复杂任务可能需要深度学习框架（如TensorFlow Probability）或贝叶斯方法[^2]。如果模型校准不良，可以使用 `CalibratedClassifierCV` 进行后处理校准[^3]。 ### 总结和建议 评估机器学习模型校准能力的关键是结合可视化（校准曲线）和量化指标（如ECE和Brier分数），以诊断预测概率的可靠性。理想情况下，应在多个数据集上测试（如验证集或交叉验证），以避免过拟合[^2]。如果发现校准不良（如ECE > 0.1），建议： - 使用概率校准技术（如Platt缩放）调整模型。 - 优先选择内在校准的模型（如贝叶斯模型）。 实际应用中，这些评估方法在金融风控或医疗诊断中尤为重要，确保概率预测可信[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值