SVC模型的校准 Model Calibration

最新推荐文章于 2025-02-02 17:29:06 发布
原创 最新推荐文章于 2025-02-02 17:29:06 发布 · 568 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能

本文介绍了机器学习中的模型校准，强调了它不是修改原模型，而是通过训练辅助模型调整预测概率。重点讲解了预期校准误差(ECE)和reliabilitydiagram在模型性能评估中的作用，特别提及sklearn中的calibration_curve功能仅适用于二分类问题。

关于机器学习模型校准的文章写的比较好的：Sk-learn 中文社区-概率校准[1]、知乎-模型校准 Calibration[2]、优快云-机器学习_预测概率校准[3]。

看了这些文章后，有几个点需要明确一下：
1、所谓的模型校准（概率校准）并不是对直接对原来训练好的模型进行更改，而是再多训练一个辅助模型将原来模型预测出来的概率进行修改，也就是多训练一个模型专门调整原来模型预测的概率 [3]， 需要注意，训练这个辅助模型的时候不能使用train_data，一般是使用Val_data；

2、评价一个模型预测结果的好坏，除了我原来理解的准确率、F1啥的之外，还有一个比较冷门的参数----预期校准误差（Expected Calibration Error，ECE) [3], ECE用来判断我们模型的预测概率与真实概率平均相距多远，讲人话就是我们的模型既不能过于自信也不能自卑；

3、除了ECE指标外，reliability diagram也是是一种评价的方式，但是sklern自带的calibration_curve函数只能针对二分类问题画图；

25、机器学习模型概率校准全解析
linux6sysadmin的博客
08-30 86
本文深入解析了机器学习中模型概率校准的重要性及常用方法，重点介绍了Platt Scaling和Isotonic Regression两种校准技术，并通过实验详细演示了在不平衡分类数据集中如何使用SVM、决策树和KNN进行概率校准。文章包含完整的代码示例和性能对比，展示了校准前后模型评估指标（ROC AUC）的显著提升。此外，还结合网格搜索探讨了KNN的最佳校准配置选择，为实际应用提供了实用指导。
Python学习----不同分类器的Calibration比较
临风暖阳的博客
05-08 1276
Well calibrated classifiers are probabilistic classifiers for which the output ofpredict_probacan be directly interpreted as a confidence level. For instance, a well calibrated (binary) classifier should classify the samples such that for the samples to...
model calibration
Abraham Ben
02-02 478
将模型输入概率作为输入, 然后ground truth作为输出, 在进行一次log regression。理想的曲线应该是y=x. 如果不理想, 就需要calibrate。例如猫狗分类中, 将属于猫的对应概率落到相应的桶中。
《Multi-Head Multi-Loss Model Calibration》
qq_45745941的博客
03-06 804
提供有意义的不确定性估计对于在临床实践中成功部署机器学习模型至关重要。不确定性量化的一个核心方面是模型返回与模型正确的实际概率一致的预测的能力，也称为模型校准。没有一种技术可以与简单但昂贵的训练深度神经网络集成的方法相匹配。本文介绍了一种简化的集成形式，绕过了昂贵的深度集成的训练和推断，保持了其校准能力。用一组头部来代替网络末端的常见线性分类器，这些头部被不同的损失函数监督，以加强其预测的多样性。每个头都被训练成最小化加权交叉熵损失，但不同分支之间的权重是不同的。
Expected Calibration Error (ECE)模型校准原理解析
PyBigStar的博客
02-05 1万+
 对于高风险应用来说，机器学习模型对其预测的置信度是至关重要的。``model calibration（模型校准）``就是要让模型结果预测概率和真实的经验概率保持一致。模型校准这个话题比较小众，博主也是在看一篇Self-KD的论文时才看到的。模型校准的metrics有很多，这里博主仅仅讨论``Expected Calibration Error (ECE)``这一个比较经典的模型校准metric。
模型校准方法介绍
雾里闹的博客
04-16 2770
在神经网络模型的应用中经常遇到指定准确率或者召回率的情况，大家都希望可以不调整模型，只调整阈值就满足指定准确率或者召回率，但是有时调整阈值时可以发现，当我们把阈值从0.5调整为0.6，0.7，0.8，0.9时，会发现模型准确率提高并没有按照线性提升。因此本文中的模型校准是指将模型的预测概率和真实置信度之间的差距缩小，并不会改变模型本身的精度，只是会使其更容易使用。在测试时，我们会得到一个校准概率的向量。）方法的背景，为了简单，我们默认模型的输出是正例的置信概率，由此我们可以使用下列方式表示整个模型。
深度学习的不确定性（Uncertainty/confidence score）与校准(Calibration)
热门推荐
xys430381_1的专栏
08-09 5万+
模型校准 Calibration: 一个工业价值极大，学术界却鲜有研究的问题！（原论文：On Calibration of Modern Neural Networks，论文中有一些基本的校准方法，包括温度缩放Temperature Scaling） 在大多情况下，我们只关心类别的预测 有多准，根本不 care 置信度是怎样的。然而，在一些实际应用场景下，置信度的度量也同样重要。 例如 对于自动驾驶中的目标识别任务，车辆的前方出现了一个人，神经网络会将其识别成塑料袋，此时输出的置信度为50%（低于阈值）
Scikit-Learn 1.4使用指南： 有监督学习 概率校准 Probability Calibration
数智笔记
02-05 1786
Niculescu-Mizil和Caruana给出了一个解释：“诸如bagging和随机森林之类的方法，这些方法从一组基本模型的预测中平均预测，可能在接近0和1的预测上出现困难，因为基本模型的方差会使应该接近零或一的预测偏离这些值。”因此，校准曲线显示了一个特征的S形状，表明分类器可以更加相信自己的“直觉”，通常返回更接近0或1的概率。较低的Brier损失并不一定意味着更好的校准模型，它也可能意味着校准更差的模型，但具有更强的区分能力，例如使用更多的特征。在预测概率时，会分别预测每个类别的校准概率。
机器学习模型概率校准全解析
### 机器学习模型概率校准全解析 #### 1. 引言 在机器学习领域，概率校准是一个关键环节，它能让模型预测的概率更准确地反映真实情况。许多机器学习算法本身并不能直接输出校准好的概率，这就需要我们对其进行校准...
机器学习模型概率校准：原理、方法与实践
### 机器学习模型概率校准：原理、方法与实践 在机器学习领域，概率校准是一个重要的环节，它能够让模型预测的概率更准确地反映真实情况。本文将深入探讨概率校准的相关知识，包括哪些算法需要校准、校准的方法以及...
模型校准指标ECE-Expected Calibration Error详解
mrpig13的博客
12-24 1776
对ECE指标从根本上进行了分析
大语言模型评测方法全面总结！
chengxuyuanyy的博客
08-19 1467
自2017年Transformer模型提出以来，自然语言处理研究逐步转向基于该框架的预训练模型，如BERT、GPT、BART和T5等。这些预训练模型与下游任务适配后，持续刷新最优结果。然而，现有评测方法存在广度和深度不足、数据偏差、忽视模型其他能力或属性评估等问题。因此，需要全面评测和深入研究模型的各项能力、属性、应用局限性、潜在风险及其可控性等。本文回顾了自然语言处理中的评测基准与指标，将大语言模型评估分为经典和新型评测范式，分析了现有评测的不足。
On the Calibration of Pre-trained Language Models using Mixup Guided by Area Under the Margin and Sa
qq_43194650的博客
08-21 411
《On the Calibration of Pre-trained Language Models using Mixup Guided by Area Under the Margin and Saliency》 论文解读，什么是Calibration？
多标签分类中不确定性量化方法的评价：以心电图自动诊断为例
p12345phh的博客
12-10 2066
在这一背景下，除了比较不同的不确定性量化（UQ）方法外，我们在研究中还包括了一个临床模拟场景，以评估将AI不确定性估计方法整合到心脏病学实践中的益处，如图1所示。该系统基于一个具备不确定性感知能力的AI模型，该模型经过训练，能够根据12导联心电图（ECG）信号检测心脏病理状况。除了对心脏病理进行分类外，该模型还提供了其对给定样本预测的整体置信度，当存在大量不确定性时，模型会选择不提供诊断。对于低不确定性的预测，每个预测诊断会提供一个独立的置信度评分。
Calibration: 一个工业价值极大，学术界却鲜有研究的问题！
夕小瑶科技说
01-06 2746
文 | kid丶(知乎作者)编 | 夕小瑶尽管深度学习给工业界带来了一波上线春天，但是总有很多比较难的业务，模型反复迭代后准确率依然达不到预期的产品标准，难以满足用户期望。以下为工业界常...
论文阅读笔记——Adversarial Attack on Attackers Post-Process to
Wendy_094的博客
11-06 682
提出了一种针对 SQAs 的新型的防御方式——Adversarial Attack on Attackers (AAA), confound the score-based query attacks (SQAs) towards incorrect attack directions by slightly modifying the output logits.优点：预防了SQAs(effective)；CA不掉；改进置信度分数的标准(user-friendly)；通用性好；
[PMLR 2017] On calibration of modern neural networks
连理o的博客
12-01 1825
[PMLR 2017] On calibration of modern neural networks
模型预测结果校准——Isotonic regression
ClaireQi的博客
07-16 1万+
模型预测结果校准——Isotonic regression   方法简介： Isotonic Regression: the method used by Zadrozny and Elkan (2002; 2001) to calibrate predictions from boosted naive bayes, SVM, and decision tree models.[1] Za...
预测模型结果校准——Bining
ClaireQi的博客
07-17 7270
预测模型结果校准——Bining 文献[2]中，将训练集中样本按估计值降序排序，均分成k等分；对于落在某个bin里的新样本，属于某个class的概率等于这个bin中这个class的实例所占的比例。[1] 文献[3]中， (1) 将logistic regression模型的输出结果划分成n个等长的bin，使得 ，定义了第i个bin的区间范围。对于第i个bin的校准值通过下式获得： 即计...
生存支持向量机校准曲线
最新发布
03-31
使用`SVC(probability=True)`初始化一个带有概率估计选项的基础SVM模型[^1]。 3. **应用校准器** 创建`CalibratedClassifierCV`对象并将未校准的SVM作为基学习器传入。可以选择不同的校准方法如`sigmoid`或`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值