Platt scaling

最新推荐文章于 2025-03-08 20:46:45 发布
最新推荐文章于 2025-03-08 20:46:45 发布
阅读量5.6k 收藏 5
点赞数 2
Platt Scaling是一种将机器学习模型输出转换为概率分布的方法。通过逻辑回归校准分类得分，能够提供预测类别的同时给出置信度估计。这种方法适用于二分类问题，通过对分类得分应用逻辑回归转换，从而获得更准确的概率估计。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在机器学习中，platt scaling 或者 platt calibration 是把模型的输出转化成一种基于类别的概率分布的方法。这个方法代替了早期的Vapnik提出的方法，但是这个方法可以应用于其他的分类模型。platt是把一个逻辑回归模型拟合分类分数的方法。

在二分类中，对于输入x，我们想要知道它属于两类中的哪一类，我们假定这个分类任务可以用一个函数f解决，预测y=sign(f(x)),对于many问题，很方便获得P(y=1|x),例如一个分类器不仅给出预测的结果，而且给出置信度。但是有的模型却没有给出。

platt scaling 是一个解决上述问题的算法：

对分类的分数f(x)进行了逻辑回归转化，A和B是分类器学习得到的两个参数。转化后，由P(y=1|x)>0.5

可以预测y=1，如果B不等于0，和之前的y=sign(f(x))相比，概率估计包含了一个纠正项，

使用最大似然法估计A和B，和分类器f用同样的训练集，为了防止过拟合，可以保留calibration set 或者使用交叉验证，并且应该把标签y转化成目标概率：


N+和N-分别表示正样本和负样本的个数，This transformation follows by applying Bayes' rule to a model of out-of-sample data that has a uniform prior over the labels.[1]

MFQQFM
关注
概率模型校准
Jasminexjf的博客
08-02 1582
业务场景遇到模型校准，随记
聊一聊评分模型校准
lc434699300的博客
11-10 1670
最近想整理一下关于信用评分校准的一些知识，发现求是汪老师的文章已经很详细、全面地介绍了这块的内容，于是仔细读了一遍他的文章，并对其中的重点作一下笔记。求是汪老师的文章链接是信用评分卡模型分数校准。 一.分数校准的业务应用场景 分数校准主要应用在3种场景下。 1.分群子评分卡作分数融合。 2.降级备用模型和主模型分数校准。 3.客群变化对原模型分数进行修正。 其实还有一种情况需要校准模型，就是对样本进行抽样建模之后...
通俗理解Platt scaling/Platt缩放/普拉特缩放
飞机火车巴雷特的博客
01-07 6284
快速看懂、通俗理解Platt scaling/Platt缩放/普拉特缩放
模型预测结果校准——Platt Scaling
ClaireQi的博客
07-16 4786
模型预测结果校准——Platt Scaling 方法简介： Platt scaling is a method for transforming SVM outputs from  to posterior probabilities (Platt, 1999). [1] Platt (1999) proposed transforming SVM predictions to poster...
【置信度校准】几种经典概率校准方法（Platt scaling、 histogram binning、 isotonic regression、 temperature scaling）
ROYOLE'S
09-27 9305
1. Platt scaling Platt scaling本质上是对模型sigmoid输出的分数做概率变化。在此基础上引入了两个参数a， b，假设输入样本为$X_i$，模型输出分数为$f(X_i)$，则最终输出概率计算公式变为 a, b参数优化通过最大化似然函数（最小化对数损失函数）的方法可以求得 2. histogram binning 对于所有输出未校准预测概率$p_i$，将其划分成$M$个bin，对于每个bin设置一个校准分数$theta_m$，如果预测概率$p_i$若如区间$.
【漫话机器学习系列】125.普拉托变换（Platt Scaling）
IT古董
03-08 1286
普拉托变换（Platt Scaling）是一种用于二分类支持向量机（SVM）的后处理方法，它的作用是将 SVM 的输出分数转换为概率值。由于 SVM 本身并不直接输出概率，而是输出一个决策值（即 f(x)），因此我们需要使用某种方法将这个决策值映射到 [0,1] 范围的概率值。普拉托变换正是通过拟合一个 Sigmoid 函数 来完成这个任务。
第100+22步 ChatGPT学习：概率校准 Platt Scaling
Jet4505的博客
08-20 1161
第100+22步 ChatGPT学习：概率校准 Platt Scaling
Platt Scaling后验概率 matlab代码
10-26
Platt Scaling是一种用于将SVM模型的概率估计转换为更准确概率值的技术。在MATLAB中，可以使用`fitPosterior`函数配合SVM模型来进行这种转换。以下是一个简单的步骤示例： 首先，假设你已经有了一个训练好的SVM分类...
在二分类任务中实现 **“概率输出”**（即预测样本属于正类的概率，如“是裂解酶的概率”），核心是通过 **模型结构设计、损失函数选择** 让输出自然体现“置信度”，以下从原理到实践逐步解析： ### **一、核心逻辑：用“Sigmoid+交叉熵”实现概率预测** 二分类的概率输出，本质是让模型学习 **“正类的置信度”**（范围0~1），而非直接输出0/1的硬分类。关键在于 **输出层的激活函数** 和 **损失函数的配合**： #### **1. 模型输出层设计：Sigmoid激活函数** - **结构**：最后一层设 **1个神经元**，输出经 **Sigmoid函数** 压缩到 (0, 1) 区间，记为 \( p \)（代表“属于正类的概率”）。 - **数学公式**： \[ p = \sigma(z) = \frac{1}{1 + e^{-z}} \] 其中 \( z \) 是最后一层的线性输出（未激活的原始值），Sigmoid将 \( z \) 映射到0~1，**数值上可解释为“正类的概率”**（工程上的近似，严格概率需校准，见下文）。 #### **2. 损失函数：二元交叉熵（BCE）** 为了让模型学习“概率与真实标签的匹配度”，需用 **二元交叉熵损失（Binary Cross Entropy, BCE）**，公式： \[ \text{Loss} = -\frac{1}{N} \sum_{i=1}^N \left[ y_i \cdot \log(p_i) + (1-y_i) \cdot \log(1-p_i) \right] \] - **\( y_i \)**：样本i的真实标签（0=负类，1=正类）； - **\( p_i \)**：模型预测的正类概率（Sigmoid输出）。 - **作用**： - 若样本是正类（\( y_i=1 \)），损失主要惩罚 \( p_i \) 偏小（如 \( p_i=0.1 \) 时，\(\log(0.1)\) 很小，损失很大）； - 若样本是负类（\( y_i=0 \)），损失主要惩罚 \( p_i \) 偏大（如 \( p_i=0.9 \) 时，\(\log(0.1)\) 很小，损失很大）。 最终模型会调整参数，让 \( p_i \) 尽可能接近真实标签 \( y_i \)。 ### **二、关键细节：从训练到推理的全流程** #### **1. 训练阶段：模型如何学习“概率”？** - **数据输入**：蛋白序列→特征（如ProtT5嵌入、理化特征）→输入模型。 - **前向传播**：特征经网络层计算，最后一层输出 \( z \)，再经Sigmoid得到 \( p \)（概率）。 - **反向传播**：BCE损失的梯度会指导模型调整参数，让 \( p \) 更接近真实标签（如正类样本的 \( p \) 趋近于1，负类趋近于0）。 #### **2. 推理阶段：如何解释“概率”？** 模型输出的 \( p \) 是 **“模型对正类的置信度”**，可直接作为“是裂解酶的概率”，但需注意： - **工程近似**：Sigmoid输出的 \( p \) 并非严格的统计概率（如所有 \( p=0.8 \) 的样本，实际正类比例可能不是80%），若需严格概率解释，需 **校准**（见下文）。 - **决策灵活**：保留概率值可支持动态阈值调整（如高风险场景设 \( p>0.8 \) 才判定为正类，降低误判；低风险场景设 \( p>0.5 \)，提高召回）。 ### **三、进阶优化：概率校准（可选但重要）** 若需让 \( p \) 更接近**统计意义的概率**（如 \( p=0.8 \) 代表“100个这样的样本中，约80个是正类”），需进行 **概率校准**，常用方法： #### **1. Platt Scaling（ Platt 缩放 ）** - **原理**：对Sigmoid输出的 \( p \) 做线性变换，拟合真实概率： \[ p_{\text{calibrated}} = \frac{1}{1 + e^{-(a \cdot p + b)}} \] - **训练**：用验证集的预测 \( p \) 和真实标签，拟合参数 \( a \) 和 \( b \)（最小化BCE损失）。 - **优势**：计算简单，适合小数据。 #### **2. Isotonic Regression（ 保序回归 ）** - **原理**：非参数方法，直接拟合预测 \( p \) 和真实正类比例的单调关系，保证校准后 \( p_{\text{calibrated}} \) 随原始 \( p \) 单调递增。 - **优势**：校准更精准，适合大数据； - **缺点**：计算成本高，可能过拟合（需正则化）。 ### **四、对比：为什么不用MSE做“概率回归”？** 若强行用 **均方误差（MSE）** 作为损失（把概率预测当回归任务），会存在以下问题： 1. **优化目标错位**： MSE优化“数值误差”（如 \( p=0.8 \) 和 \( y=1 \) 的误差是0.04），但分类任务更关注“是否判对”（如 \( p=0.9 \) 比 \( p=0.6 \) 更接近正类，但若真实是负类，\( p=0.6 \) 比 \( p=0.9 \) 误差更小，这与分类逻辑矛盾）。 2. **梯度消失问题**： 当 \( p \) 接近0或1时，MSE的梯度（\( 2(p-y) \)）会非常小（如 \( p=0.99, y=1 \) 时，梯度=0.02），导致模型难以收敛到明确的分类边界；而BCE的梯度（\( \frac{y-p}{p(1-p)} \)）在极端值时更大（如 \( p=0.99, y=1 \) 时，梯度≈1.01），更利于模型学习。 ### **五、总结：二分类概率输出的实现路径** | 步骤 | 核心动作 | |---------------------|--------------------------------------------------------------------------| | **模型结构** | 输出层用1个神经元 + Sigmoid激活，输出 \( p \in (0,1) \) | | **损失函数** | 二元交叉熵（BCE），让 \( p \) 逼近真实标签 | | **推理与解释** | 直接用 \( p \) 作为“正类概率”，灵活调整决策阈值 | | **进阶优化（可选）** | 用Platt Scaling或Isotonic Regression校准概率，提升统计解释性 | 通过以上设计，你的模型既能输出“裂解酶的概率评分”（满足任务需求），又能利用二分类的成熟方法（如ASL处理类别不平衡，见前文分析），实现性能与解释性的平衡。
最新发布
07-13
此外，还可以考虑引入校准（calibration）机制，如 Platt Scaling 或 Isotonic Regression，以进一步优化模型输出的概率分布，使其更贴近真实概率。 ### 样本权重与类别不平衡处理 当数据集中正负样本比例不均衡时...
Python 自动化脚本系列：第9集
代码说，代码让世界更美好。
05-20 1052
Python 自动化脚本系列：第9集
Platt大牛的SMO算法
06-01
SMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for Training Support Vector Machines》了。
SVM的概率输出（Platt scaling）
热门推荐
闲渔的专栏
10-22 1万+
最近在研究基于样本的相似度度量问题，其中用到了分类器的概率输出（Platt scaling），大概了解了一下用法，总结的比较简单。
高级算法梳理第4期--Task1 随机森林算法梳理
不积跬步，无以至千里
01-27 1007
参考：周志华《机器学习》 https://blog.youkuaiyun.com/m0_37548423/article/details/86656070 https://www.cnblogs.com/pinard/p/6156009.html https://www.cnblogs.com/maybe2030/p/4585705.html https://www.stat.berkeley.edu...
优化分类指标
Rp的博客
07-09 860
优化分类指标 介绍 某些分类指标并不是完全适用我们的模型，有时候我们需要选择和优化指标来调整我们的模型。 Logloss 如果要优化log-loss，我们只需要将它和正确的模型匹配。 树模型：XGBoost，LightGBM 线性：sklearn，Regression, sklearn.SGDRegressor, Vowpa Wabbit 神经网络：PyTorch, Keras, Tensorf...
模型损失函数变化曲线图_信用评分卡模型分数校准
weixin_39943202的博客
10-21 725
风控业务背景在评分卡建模中，我们通常会把LR输出的概率分（probability）转换为整数分(score)，称之为评分卡分数校准(calibration)。事实上，这个阶段称为尺度变换（scaling）或许更为合适。只是有些书中并不严格区分校准和尺度变换，统称为风险校准。大家耳熟能详的一些信用评分就是最终以这种形式呈现，例如：1. 芝麻分的分值范围为350～950，分值越高代表信用越好，相应违约...
SVM分类器的概率校准在scikit-learn 中的几种实现方式
CodenameNC的博客
02-19 5940
SVM分类器的分类结果只有类别，没有概率，属于maximum-margin 的方法 如果我们想从SVM的分类结果中得到属于某个类别的置信概率，就要用到 概率校准 经典的概率校准思路有Platt Scaling,核心思想就是把分类的结果作为新的训练集，用logistics回归再训练一个关系，得到具体的概率值 P(y=1∣x)=11+e(A∗f(x)+B)P(y=1∣x)=11+e(A∗f(...
Isotonic Regression 校准
罗伦
06-21 5607
转载自: vividfree的博客 使用 Isotonic Regression 校准分类器 1. 引言 对有监督机器学习问题，通常的训练流程包括这样几步：先建立起模型，然后在训练集上训练模型，如果有超参数，还需要在验证集上应用交叉验证以确定超参数，总之最终会得到一个模型。在这样的流程下，不断优化模型，如果在测试集上取得了较高的准确率、召回率、F-score或者AUC后，...
SVM —— 利用完整Platt SMO算法加速优化
birdguan
02-26 795
Platt SMO算法是通过一个外循环来选择第一个alpha值的，并且其选择过程会在两种方式之间进行交替： 一种是在所有数据集上进行单遍扫描 另一种方式则是在非边界alpha中实现单遍扫描。（所谓非边界alpha指的是那些不等于边界0或者C的alpha值。） 在选择第一个alpha值之后，算法会通过一个内循环来选择第二个alpha值。在优化过程中，通过最大化步长的方式来获得第二个alpha值...
机器学习（一）- feature scaling
mike112223的博客
07-10 8529
feature scaling feature scaling（特征缩放）的思想就是将所选特征的value都缩放到一个大致相似的范围。这样做的目的是为了加快收敛，减少采用梯度下降算法迭代的次数。那么为什么feature scaling能做到这点呢。 下面我们将利用stanford的Andrew Ng教授的PPT来说明。 首先，“将所选特征的value都缩放到一个大致相似的范围”这句话在代...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值