一个简单例子说明白softmax 逻辑回归与 one-hot 编码的关系

最新推荐文章于 2025-09-29 18:32:49 发布
原创 最新推荐文章于 2025-09-29 18:32:49 发布 · 4.8k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #深度学习 #机器学习 #softmax #one-hot

本文探讨了在神经网络中使用one-hot编码时的问题，包括如何通过去除sigmoid函数和应用softmax逻辑回归来改善最大值与其他值之间的差距，从而优化one-hot输出。

1. one-hot 只关注最强分量

看一个简单例子：假设神经网络模型输出三分类结果 (z1,z2,z3)(z_1,z_2,z_3)(z1​,z2​,z3​)，已知某训练样本 xxx 的类别是 (1,0,0)(1,0,0)(1,0,0)，模型参数调整前输出 (0.9,0.7,0.5))(0.9,0.7,0.5))(0.9,0.7,0.5))，参数调整后输出为 (0.9,0.6,0.6.)(0.9, 0.6, 0.6.)(0.9,0.6,0.6.).。我们看一下二者的损失函数：

Loss(w1)=∣0.9−1∣+∣0.7−0∣+∣0.3−0∣=1.1(1)\tag1 Loss(w_1) = |0.9-1|+|0.7-0|+|0.3-0|=1.1 Loss(w1​)=∣0.9−1∣+∣0.7−0∣+∣0.3−0∣=1.1(1)
Loss(w2)=∣0.9−1∣+∣0.5−0∣+∣0.5−0∣=1.1(2)\tag2 Loss(w_2) = |0.9-1|+|0.5-0|+|0.5-0|=1.1

最低0.47元/天 解锁文章
【深度学习笔记】 【深度学习混淆专业名词解释】
2401_84048586的博客
04-05 1138
Java架构学习技术内容包含有：Spring，Dubbo，MyBatis, RPC, 源码分析，高并发、高性能、分布式,性能优化，微服务 高级架构开发等等。还有Java核心知识点+全套架构师学习资料和视频+一线大厂面试宝典+面试简历模板可以领取+阿里美团网易腾讯小米爱奇艺快手哔哩哔哩面试题+Spring源码合集+Java架构实战电子书+2021年最新大厂面试题。《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取！
one-hot和softmax
zhanly19的博客
08-24 1431
https://blog.youkuaiyun.com/afgasdg/article/details/84346931 https://www.jianshu.com/p/db6f7363acd5
动手学深度学习——softmax回归之OneHot、softmax与交叉熵
时生的博客
03-27 3382
回归可以用于预测多少的问题，比如预测房屋被售出价格，或者棒球队可能获得的胜场数，又或者患者住院的天数。事实上，我们也对分类问题感兴趣，不是问“多少”，而是问“哪一个”。逻辑回归就是用于解决分类问题的回归模型，他也可以视作一个单层的全连接神经网络。 本篇文章包含了softmax逻辑回归的原理，并对sigmoid激活函数与softmax激活函数的应用场景做了简单对比。
多分类问题-Softmax及one-hot编码
m0_53114462的博客
06-02 3073
上篇文章https://blog.youkuaiyun.com/m0_53114462/article/details/117416298利用sigmoid可以解决了二分类问题。那么对于多分类问题，我们该如何解决呢？ 这里介绍Softmax函数及one-hot编码解决多分类问题。 一、Softmax函数 1、定义 在数学中，尤其是概率论和相关领域中， Softmax函数，又称归一化指数函数，是逻辑函数的一种推广。它的特点是能将一个含有任意实数的KKK维的向量ZZZ“压缩”到另一个KKK维实向量σ(Z)\sigma(Z)
从 one-hot 到 softmax，再到交叉熵，技术一脉相承
程序猿视角
03-18 2914
one-hot 编码催生了 softmax，然而 softmax 的输出格式造成传统基于距离度量的损失函数学习效率很低，于是交叉熵技术横空出世。本文从头梳理这些技术的来龙去脉。
深度学习 | 案例：逻辑回归方式实现Mnist手写数字识别（softmax/交叉熵/one-hot）
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
07-31 3385
1.tensorflow简介 TensorFlow是google基于distbelief开发的第二代人工智能学习系统，tensor(张量)意味着N维数组，Flow（流）意味着数据流图的计算，tensorFlow为流图从一端流向另外一端的计算，是将复杂的数据结构传输至人工智能神经网中进行分析和处理的系统。 其可被运用于图像识别、语音识别、计算机视觉和广告等多项机器学习和深度学习领域，可在智能手机...
one-hot 编码、multi-hot 编码 和 Embedding
Rhett_Butler0922的博客
05-15 1237
Multi-hot 编码是 one-hot 编码的扩展，用于表示一个样本属于多个类别的场景。向量长度仍为类别总数NNN，但可以有多个位置为 1，表示样本同时属于多个类别。数学表示对于一个样本属于类别集合Si1i2ikSi1​i2​ik​vv0v1vN−1vj1ifj∈Selse0vv0​v1​vN−1​vj​1ifj∈Selse0例子Embedding（嵌入）
数据预处理之独热编码（One-Hot）：为什么要使用one-hot编码？
weixin_30377461的博客
07-09 3056
一、问题由来 最近在做ctr预估的实验时，还没思考过为何数据处理的时候要先进行one-hot编码，于是整理学习如下： 在很多机器学习任务如ctr预估任务中，特征不全是连续值，而有可能是分类值。如下： 　　　　分类变量（定性特征）与连续变量（定量特征）。我们训练模型的变量，一般分为两种形式。以广告收入增长率为例，如果取值为0-1之间任意数，则此时变量为连续变量。如果把增长率进行分段处理，...
深度学习笔记: 最详尽解释Softmax 回归 Softmax Regression
weixin_53765658的博客
07-21 1532
欢迎收藏Star我的Machine Learning Blog:https://github.com/purepisces/Wenqing-Machine_Learning_Blog。如果收藏star, 有问题可以随时与我交流, 谢谢大家！ Softmax 回归 Softmax 回归，也称为多项逻辑回归，是逻辑回归的广义，用于多类分类问题。虽然逻辑回归用于二分类，softmax 回归则用于类别超过两个的情况。 Softmax 回归的关键点： 多类分类：当因变量可以有两个以上的类别时，使用 softmax
词向量：从 One-Hot 到 BERT Embedding，NLP 文本表示的核心技术
最新发布
fykam的博客
09-29 1132
当通用词向量（如 Google 预训练的 Word2Vec）无法适配特定领域（如医疗、法律）时，需要基于领域语料库训练自定义词向量。以下是使用 Python 的gensim从 One-Hot 编码的 “离散稀疏” 到 Word2Vec/GloVe 的 “静态稠密”，再到 BERT 的 “动态上下文感知”，词向量技术的演进本质是 “让机器更精准地理解人类语言语义” 的过程。语义表示的基础：词向量是所有 NLP 任务的 “输入基石”，无论是文本分类、机器翻译还是情感分析，高质量的词向量都能显著提升模型效果；
一个神经元处理mnist手写数字 one-hot编码 二元逻辑回归损失函数-对数损失函数 多元逻辑回归损失函数-交叉熵损失函数 两个东西很像 argmax
mos1896的博客
03-06 310
原来是2828 现在是1456 绿色部分： 如果不采用one-hot编码，3-1<8-3,难道1比8更相似于3，明显不是 直白解释逻辑回归中的损失函数： 如果标签是1，我们希望预测也是1 这里时候后一项没了，y’越接近1对应的损失函数值越小 如果标签是0，我们希望预测也是0 这里时候前一项没了，y’越接近0对应的损失函数值越小 而且是一个凸函数，说明必有全局最优解 而且...
softmax函数_tf.one_hot()函数即通常用于softmax回归的独热编码
weixin_39655362的博客
11-24 487
首先肯定需要解释下什么叫做独热编码（one-hot encoding），独热编码一般是在有监督学习中对数据集进行标注时候使用的，指的是在分类问题中，将存在数据类别的那一类用X表示，不存在的用Y表示，这里的X常常是1， Y常常是0。举个例子：我们是在做一个1和0数字识别的应用，就是将一个图片分成1这一类还是0这一类的分类问题，我们一般采用softmax来做分类。softmax回归简述：对于图像来说，...
（三）深度学习入门之one_hot编码、Logistic回归、softmax函数与交叉熵
xuzkbd的博客
02-08 2049
1.onehot编码 one-hot的基本思想：将离散型特征的每一种取值都看成一种状态，若你的这一特征中有N个不相同的取值，那么我们就可以将该特征抽象成N种不同的状态，one-hot编码保证了每一个取值只会使得一种状态处于“激活态”，也就是说这N种状态中只有一个状态位值为1，其他状态位都是0。举个例子，假设我们以学历为例，我们想要研究的类别为小学、中学、大学、硕士、博士五种类别，我们使用one-h...
机器学习3（logistic regression逻辑回归）
liningxi123的博客
09-19 702
用逻辑回归解决分类问题
pytorch—0
weixin_43770178的博客
09-19 146
比如说0-9分类问题，如果y = torch.LongTensor([3])，对应的one-hot是[0,0,0,1,0,0,0,0,0,0].(这里要注意，如果使用了one-hot，标签y的类型是LongTensor，糖尿病数据集中的target的类型是FloatTensor)我对one-hot的理解是只有一位是1，其他位为0。(但是标签的one-hot编码是算法完成的，算法的输入仍为原始标签)2、torch.max的返回值有两个，第一个是每一行的最大值是多少，第二个是每一行最大值的下标(索引)是多少。
神经网络基础,内容自学笔记记录Softmax + One-Hot + 交叉熵 分类方法详解,想到哪写哪儿,含所有公式详细推理步骤,举例说明
qq_57758323的博客
06-05 876
摘要 本文详细解析了基于Softmax、One-Hot编码和交叉熵的分类方法。首先介绍了输入输出结构（如MNIST的784维输入和10维输出），权重与偏置的作用。通过数学公式推导了线性输出z的计算过程，并重点讲解了Softmax函数如何将得分转换为概率分布，包括数值稳定技巧。 文章阐述了One-Hot编码的原理及其表示形式，并深入分析了交叉熵损失函数的定义和应用场景，强调其梯度（而非数值）在训练中的关键作用。通过具体示例展示了反向传播过程中梯度推导的步骤，包括Softmax导数计算和交叉熵损失对参数的偏导。
数据预处理——One-hot编码
wy的点滴
10-31 8471
网上关于One-hot编码的例子都来自于同一个例子，而且结果来的太抖了。查了半天，终于给搞清楚这个独热编码是怎么回事了，其实挺简单的，这里再做个总结。 首先，引出例子： 已知三个feature，三个feature分别取值如下： feature1=[“male”, “female”] feature2=[“from Europe”, “from US”, “from Asia”]
ML机器学习基础的编程技巧：
zjjaibc的博客
07-23 934
ML入门编程记录
深度softmax回归你能给我详细说一下吗，举个例子也可以
03-11
<think>好的，用户想了解深度Softmax回归，我得先理清楚这个概念。首先，我得确定用户的基础，可能已经知道Softmax回归和深度学习的区别。用户提到“深度”，可能是指将Softmax回归与深度神经网络结合。 首先，Softmax回归本身是逻辑回归的扩展，用于多分类问题，输出各个类别的概率分布。那深度Softmax回归应该是在神经网络的基础上，尤其是深层网络，最后用Softmax层进行分类。需要解释清楚结构和原理。 接下来，用户可能需要一个例子来理解。比如图像分类，用深度神经网络提取特征，最后用Softmax输出概率。要举具体的例子，比如MNIST手写数字识别，结构包括输入层、隐藏层、Softmax输出层。 同时，要比较与传统Softmax回归的不同，强调深度结构可以自动学习特征，而传统的是线性模型。还要提到应用场景，比如复杂的分类任务，需要特征层次的情况。 要注意用户可能混淆深度Softmax回归和普通Softmax，所以需要明确两者的区别。另外，确保LaTeX公式的正确使用，行内公式用$...$，独立公式用$$...$$，比如网络结构和Softmax函数本身。 最后，确保回答结构清晰，分点讲解原理、结构、例子、优缺点，可能还要训练方法，比如反向传播和交叉熵损失。避免使用复杂术语，用中文简明解释，帮助用户逐步理解。</think>好的！我将分步骤详细介绍深度Softmax回归，并结合示例说明。 --- ### 1. **Softmax回归基础** **Softmax回归**（多类逻辑回归）是用于多分类任务的经典模型： - **输入**：特征向量 $x \in \mathbb{R}^d$ - **输出**：每个类别的概率分布 $p(y=k|x)$，其中 $k=1,...,K$（共 $K$ 个类别） - **公式**： $$ p(y=k|x) = \frac{e^{w_k^T x + b_k}}{\sum_{j=1}^K e^{w_j^T x + b_j}} $$ 其中 $w_k$ 和 $b_k$ 是第 $k$ 类的权重和偏置。 --- ### 2. **深度Softmax回归的核心思想** 深度Softmax回归 = **深度神经网络 + Softmax输出层**： - **关键改进**：在Softmax层前叠加多个隐藏层，自动学习高阶特征。 - **优势**：传统Softmax是线性分类器，而深度结构能捕捉非线性关系。 --- ### 3. **模型结构** 以图像分类为例（如MNIST手写数字识别）： ``` 输入层 → 隐藏层1（ReLU） → 隐藏层2（ReLU） → Softmax输出层 ``` - **输入层**：784维（28x28像素图像展开为向量） - **隐藏层1**：128个神经元，激活函数ReLU - **隐藏层2**：64个神经元，激活函数ReLU - **输出层**：10个神经元（对应0~9数字），Softmax激活 --- ### 4. **数学表达式** 设输入为 $x$，隐藏层输出为 $h_1 = \text{ReLU}(W_1 x + b_1)$，$h_2 = \text{ReLU}(W_2 h_1 + b_2)$，则最终输出为： $$ p(y=k|x) = \frac{e^{W_{\text{out}}^{(k)} h_2 + b_{\text{out}}^{(k)}}}{\sum_{j=1}^{10} e^{W_{\text{out}}^{(j)} h_2 + b_{\text{out}}^{(j)}}} $$ 其中 $W_{\text{out}}$ 是输出层权重矩阵。 --- ### 5. **训练过程** 1. **损失函数**：交叉熵损失（Cross-Entropy Loss） $$ L = -\sum_{i=1}^N \sum_{k=1}^K y_k^{(i)} \log p(y=k|x^{(i)}) $$ $y_k^{(i)}$ 是样本 $i$ 的真实标签（one-hot编码）。 2. **反向传播**：通过链式法则计算梯度，优化权重 $W$ 和偏置 $b$。 3. **优化器**：常用Adam、SGD等。 --- ### 6. **示例：MNIST分类代码框架（PyTorch）** ```python import torch import torch.nn as nn class DeepSoftmax(nn.Module): def __init__(self): super().__init__() self.fc1 = nn.Linear(784, 128) self.fc2 = nn.Linear(128, 64) self.out = nn.Linear(64, 10) def forward(self, x): x = torch.relu(self.fc1(x)) x = torch.relu(self.fc2(x)) return torch.softmax(self.out(x), dim=1) # 训练流程 model = DeepSoftmax() criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters()) ``` --- ### 7. **与传统Softmax回归的对比** | 特性 | 传统Softmax回归 | 深度Softmax回归 | |---------------------|----------------------|--------------------------| | 模型复杂度 | 线性模型 | 非线性（多层神经网络） | | 特征提取 | 依赖人工设计特征 | 自动学习分层特征 | | 适用场景 | 简单线性可分问题 | 复杂非线性问题（如图像） | --- ### 8. **应用场景** - 图像分类（CIFAR-10、ImageNet） - 自然语言处理（文本分类、情感分析） - 任何需要多分类且数据具有复杂模式的任务 --- ### 9. **优缺点** - **优点**： - 自动特征学习 - 处理高维非线性数据 - **缺点**： - 需要大量训练数据 - 计算资源消耗较高 希望这个详细解释能帮助您理解深度Softmax回归！如果有具体问题，欢迎继续提问 😊
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

许野平

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值