1. 从“原始分数”到“概率”:logits到底是什么?
如果你刚开始接触深度学习做分类任务,可能会被一个词搞懵:logits。模型训练的时候,各种指标看着都挺好,一到实际预测,输出的东西怎么是一堆看起来毫无规律的、正负都有的数字?这玩意儿怎么就成了“猫”或者“狗”的预测结果?别急,这堆数字就是logits,理解它是你真正搞懂模型如何“思考”和“决策”的第一步。
简单来说,你可以把logits想象成一场考试后,老师给每个学生打的“原始卷面分”。这个分数没有经过任何处理,可能因为题目难度不同,有的学生得了150分,有的可能才30分,分数之间没有可比性,更不能直接说“150分的学生有100%的概率是优秀”。在神经网络里,尤其是分类任务的最后一层(通常是全连接层),模型会为每一个可能的类别(比如猫、狗、兔子)计算出一个这样的“原始分数”,这就是logits。它代表了模型对输入样本属于某个类别的“原始信心度”,分数越高,信心越强,但这个信心还没有被标准化,不能直接当作概率来用。
我刚开始用PyTorch做图像分类时,就踩过这个坑。当时我训练了一个10分类的模型,在验证集上准确率有92%,高兴坏了。然后我兴冲冲地打印出模型对一张猫图片的最终输出,看到的却是类似 [2.1, -1.3, 0.4, 5.8, ...] 这样的数组。我当时就愣住了,心想:“这5.8是啥?概率吗?可它比1大啊!这模型到底想说什么?” 后来才明白,我需要一个“转换器”,把这些原始的信心分数,变成我们人类能理解的、所有选项加起来等于100%的概率形式。这个关键的“转换器”,最常用的就是 softmax函数。
所以,logits是模型最“诚实”的原始输出,它尚未经过任何美化或归一化。理解logits到概率的转换,不仅仅是调用一个API那么简单,它关系到你如何解读模型的置信度、如何设计损失函数(比如直接使用logits的交叉熵损失),以及如何在生产环境中处理那些“模棱两可”的预测案例。接下来,我们就一层层剥开这个过程。
2. Softmax:将信心“标准化”为概率的神奇转换
现在我们知道logits是原始分了,那怎么把它变成我们熟悉的概率呢?这就轮到softmax函数登场了。你可以把它看作一个“标准化部门”或者“投票计票系统”,它的核心工作就两条:第一,确保所有类别的输出值都在0到1之间;第二,确保所有类别的输出值加起来等于1。这样一来,每个值就自然成了一个可以被解释为“概率”的数值了。
它的公式看起来可能有点唬人:softmax(z_i) = e^{z_i} / sum(e^{z_j})。别怕,我们拆开看。这里的 z_i 就是第i个类别的logits值。e^{z_i} 是对这个logits取指数,这个操作非常关键,因为它能把所有负数变成正数(因为指数结果永远大于0),并且会放大较大值之间的差距。分母 sum(e^{z_j}) 是对所有类别的指数结果求和,相当于一个“总信心值”。最后,每个类别的指数结果除以这个总和,就得到了它的“概率”。
我举个例子你就明白了。假设我们做一个三分类(苹果、香蕉、橘子),模型对某张图片输出的logits是 [2.0, 1.0, 0.1]。
- 第一步,取指数:
e^2.0 ≈ 7.39,e^1.0 ≈ 2.72,e^0.1 ≈ 1.10。 - 第二步,求和:
7.39 + 2.72 + 1.10 = 11.21。 - 第三步,各自除以总和:苹果概率 ≈ 7.39/11.21 = 0.659,香蕉概率 ≈ 2.72/11.21 = 0.243,橘子概率 ≈ 1.10/11.21 = 0.098。
看,转换后的概率 [0.659, 0.243, 0.098] 不仅都在0到1之间,而且加起来等于1。模型很明确地告诉我们:“我有65.9%的把握这是苹果,24.3%的把握是香蕉,只有9.8%的把握是橘子。” 这个解释性就比原始的 [2.0, 1.0, 0.1] 强太多了。
在实际写代码时,框架都为我们封装好了。但了解其内部机制至关重要,尤其是在调试的时候。比如,你可能会遇到“数值溢出”的问题。如果某个logits值特别大(比如1000),e^1000 在计算机里会变成一个无穷大(inf)的数,导致计算失败。成熟的深度学习框架(如PyTorch、TensorFlow)在实现softmax时都有数值稳定性的处理,通常会在计算前减去logits中的最大值,这不会改变最终的概率结果,但能有效避免溢出。你在实践中可能不会直接碰到,但知道这个“坑”的存在,能让你更安心。
2.1 为什么是Softmax?其他函数不行吗?
你可能会问,归一化的方法那么多,为什么偏偏是softmax?这其实和它的数学特性有关。Softmax函数是“多项逻辑斯蒂回归”在多元分类上的自然延伸,它与分类任务最常用的损失函数——交叉熵损失(Cross-Entropy Loss) 是天作之合。
在PyTorch或TensorFlow中,当你使用 nn.CrossEntropyLoss 时,一个常见的“最佳实践”是直接向损失函数传入logits,而不是softmax之后的概率。这是因为这些框架内部的 CrossEntropyLoss 已经将 LogSoftmax(对softmax结果取对数)和 NLLLoss(负对数似然损失)高效地结合在了一起。这样做有两个巨大好处:一是数值计算更稳定,二是减少了一次运算步骤,效率更高。
import torch
import torch.nn as nn
# 假设我们有logits和真实标签
logits = torch.tensor([[2.0, 1.0, 0.1]]) # 形状 (batch_size=1, num_classes=3)
labels = torch.tensor([0]) # 真实类别是“苹果”(索引0)
# 正确做法:直接将logits送入CrossEntropyLoss
criterion = nn.CrossEntropyLoss()
loss = criterion(logits, labels)
print(f"Loss (使用logits): {loss.item()}")
# 对比:先手动做softmax再计算(不推荐,仅作演示)
probabilities = torch.softmax(logits, dim=1)
# 手动计算交叉熵会涉及log(probability),如果probability为0可能导致数值问题
如果你先手动做了softmax得到概率,再送入一个需要概率输入的损失函数(如 nn.NLLLoss),反而可能因为对数运算遇到概率为0的情况而产生数值问题(log(0) 是负无穷)。所以,记住这个搭档:在训练时,logits 直接喂给 CrossEntropyLoss;在推理时,logits 经过 softmax 得到可解释的概率。
除了softmax,当然也有其他函数,比如 sigmoid。但sigmoid通常用于多标签分类(一个样本可以同时属于多个类别),因为它独立地对每个类别的logits进行归一化,输出多个介于0和1之间的值,且它们之间相加不一定等于1。而softmax是用于单标签多分类(一个样本只属于一个类别),它让类别之间形成竞争关系。这是选择激活函数时的关键区别。
3. 超越简单预测:Logits和概率的实战深意
理解了转换过程,我们就可以玩点更高级的了。Logits和最终的概率,不仅仅是用来选一个最大值的。在实际项目中,它们能提供丰富的信息,帮助我们构建更鲁棒、更可信的AI系统。
第一,衡量预测置信度。 我们不仅关心模型预测了哪个类别,更关心它对这个预测有多大的把握。比如,在医疗影像诊断中,模型以0.51的概率判为“良性”,以0.49的概率判为“恶性”,和以0.95的概率判为“良性”,以0.05的概率判为“恶性”,这完全是两种不同的情况。前者模型自己都很犹豫,这种预测结果就应该被标记出来,交给人类医生重点复核;而后者模型则非常确信。我们可以设定一个置信度阈值(比如0.8),只有当最高概率超过这个阈值时,我们才采纳模型的自动判断,否则就转为人工处理。这个策略能极大降低自动决策的风险。
第二,实现“拒识”或“未知类检测”。 在开放世界的应用中,模型总会遇到它从未训练过的类别。一个训练来识别猫狗的分类器,如果看到一张汽车图片,它可能也会输出一个概率分布,但通常这个分布会非常“平坦”(比如猫0.4,狗0.6),或者虽然有个最大值,但绝对值很低(比如猫0.7,但这个0.7相对于训练集内的样本来说太低了)。通过分析softmax输出的概率分布(例如,计算熵或最大概率值),我们可以设计规则,当模型“信心不足”时,判定当前输入为“未知类别”,而不是强行在已知类别里选一个。这对于安全关键的应用至关重要。
第三,用于模型集成和知识蒸馏。 Logits本身包含了比单一标签更丰富的“暗知识”。在知识蒸馏中,我们让一个小的“学生模型”去学习大的“教师模型”的行为,而学习的目标不仅仅是最终的硬标签(0或1),更重要的是教师模型输出的logits或经过“温度参数”调制的softmax概率。这些概率分布包含了类别之间的相似性关系(比如,猫和狗在某些特征上可能比猫和汽车更接近),学生模型通过学习这种软目标,往往能获得比直接学硬标签更好的泛化能力。
# 知识蒸馏中带温度参数(T)的softmax示例
def softmax_with_temperature(logits, temperature):
scaled_logits = logits / temperature
return torch.softmax(scaled_logits, dim=-1)
teacher_logits = ... # 教师模型输出
temperature = 3.0 # 温度参数,>1会软化概率分布
soft_targets = softmax_with_temperature(teacher_logits, temperature)
# 学生模型的损失函数会同时考虑硬标签和软目标(soft_targets)
3.1 语义分割中的Logits与Argmax操作
在图像语义分割任务中,logits的概念被扩展到了每一个像素点上。这可能是初学者容易混淆的地方。分割模型的输出通常是一个四维张量,形状为 (批大小, 类别数C, 高度H, 宽度W)。对于特征图上的每一个像素位置,模型都输出一个长度为C的logits向量,代表该像素属于C个类别中每一个的原始分数。
此时的处理流程非常经典:
- 沿类别维度应用Softmax:在维度
dim=1(类别通道维度)上对logits张量应用softmax函数。这样,每个像素位置都得到了一个概率分布向量,所有C个概率值之和为1。 - 沿类别维度应用Argmax:接着,在同一个类别维度
dim=1上应用argmax函数。这个操作会找到每个像素概率向量中值最大的那个索引。这个索引就是模型预测该像素所属的类别标签。 - 生成分割图:经过argmax后,四维张量
(B, C, H, W)变成了三维张量(B, H, W),其中的每个值都是一个类别ID。这就是我们最终看到的彩色分割掩码图——每个像素都被赋予了一个具体的类别。
# 语义分割中从logits到预测掩码的代码示意
import torch
# 假设模型输出logits,形状为 (1, 3, 256, 256) -> (批大小, 类别数, 高, 宽)
logits = torch.randn(1, 3, 256, 256)
# 步骤1:沿类别维度(dim=1)计算softmax概率
probabilities = torch.softmax(logits, dim=1) # 形状仍是 (1, 3, 256, 256)
# 步骤2:沿类别维度(dim=1)取argmax,得到每个像素的预测类别索引
pred_mask = torch.argmax(probabilities, dim=1) # 形状变为 (1, 256, 256)
print(f"Logits shape: {logits.shape}")
print(f"Probabilities shape: {probabilities.shape}")
print(f"Predicted mask shape: {pred_mask.shape}") # 每个位置是0,1,2中的一个值
这里的关键是理解 “沿着类别通道维度” 这个操作。它意味着对于空间位置 (i, j) 上的一个点,我们是在比较它的C个类别分数,并选出最大的那一个。这个过程在整个HxW的网格上独立进行,最终为图像中的每一个像素都做出了分类决策。
4. 常见陷阱与调优技巧
理论懂了,代码也会写了,但在实际项目里,关于logits和softmax还有一些“坑”和优化点,我结合自己的经验跟大家分享一下。
陷阱一:Logits的数值范围与初始化。 如果网络最后一层的权重初始化不当,可能导致输出的logits值过大或过小。过大的logits经过softmax后,可能会产生非常“尖锐”的概率分布(一个类别接近1,其他全部接近0),这虽然在推理时看起来置信度很高,但在训练初期可能不利于梯度流动,因为错误的类别概率几乎为0,导致梯度很小。通常,配合适当的权重初始化(如He初始化、Xavier初始化)和归一化层(如BatchNorm),logits会处于一个合理的范围。
陷阱二:标签平滑(Label Smoothing)。 这是应对过拟合和提升模型校准度的实用技巧。在分类任务中,我们通常使用one-hot编码作为标签,比如 [1, 0, 0]。这会让模型极力去逼近“绝对正确”,可能导致过拟合,并且让模型对自己的预测过于自信(概率输出非常接近0或1)。标签平滑将硬标签软化,例如,将 [1, 0, 0] 变为 [0.9, 0.05, 0.05]。这样,在计算交叉熵损失时,模型不再需要拼命地把正确类别的概率推到1,把错误类别的概率压到0,从而学到了更泛化、概率输出更“软”的模型。在PyTorch中,CrossEntropyLoss 直接支持 label_smoothing 参数。
# 使用标签平滑的交叉熵损失
criterion = nn.CrossEntropyLoss(label_smoothing=0.1) # 平滑因子0.1
loss = criterion(logits, labels)
技巧:温度缩放(Temperature Scaling)。 这是一个简单的后处理技巧,用于校准模型概率。有时你会发现,模型的准确率很高,但它的预测概率并不“准”——比如,在它预测正确的样本中,平均概率只有0.7,而在预测错误的样本中,平均概率也可能有0.6。这说明概率不能真实反映置信度。温度缩放就是在softmax计算前,将所有logits除以一个大于1的温度系数T(T>1)。prob = softmax(logits / T)。T越大,产生的概率分布越“平缓”(即更不确定);T=1就是标准的softmax。我们可以在一个单独的验证集上寻找最优的T,使得模型输出的概率与其正确率尽可能匹配(例如,在概率为0.8的样本中,模型应有80%的准确率)。这是一个低成本提升模型可解释性的好方法。
最后,关于可视化与调试。 在调试模型时,不要只看最终的准确率。多打印和观察几组logits和softmax之后的值。比如,看看在训练集和验证集上,模型输出的概率分布有什么不同。对于分类错误的样本,看看它的logits是怎样的:是第二高的分数和最高分很接近(模型混淆了),还是所有分数都很低(模型完全没看懂)?这些信息对于诊断模型是遇到了困难样本、数据标注有问题,还是模型容量不足,有着直接的帮助。
理解logits,就是理解模型输出最本质的一面。它不是一个黑箱的终点,而是我们窥探模型内部“思考过程”的窗口。从这一堆原始的、未经修饰的数字出发,通过softmax的转换,我们得到了人类可理解的概率,再通过argmax做出决策。这个链条上的每一步,都蕴含着优化模型性能、提升系统可靠性的机会。下次当你调用 model(x) 得到输出时,不妨多花一秒想想它背后的logits故事,也许就能发现新的优化灵感。
374



被折叠的 条评论
为什么被折叠?



