深度学习Loss function之Softmax中的矩阵求导

最新推荐文章于 2024-06-13 21:32:42 发布
原创 最新推荐文章于 2024-06-13 21:32:42 发布 · 2.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #softmax #矩阵求导

本文详细探讨了在深度学习中，针对Softmax损失函数的矩阵求导过程。首先介绍了Softmax函数及其损失函数的概念，然后通过推导展示了如何从损失函数的梯度df过渡到权重矩阵W的梯度dW，以此加深对反向传播的理解。最后，提供了与CS231n课程相关的Python代码实现链接。

最近在重温CS231n的Assignment，采用SGD进行参数更新，在back propagation计算gradient时经常涉及到矩阵运算的的“求导”，在许多代码中该步骤仅需进行一次矩阵乘法，对其实现背后的推导没有进行说明，自己只有照抄死记硬背，但是毕竟只有明白背后的原理才能举一反三，在遇到其他需要对矩阵进行求导的情况时能够自己解决，因此今天我试着推导了一下，并且希望记录下来方便以后查阅：

首先简单介绍下Softmax：

假设在神经网络的最后一层输出为f(N，C)，N表示train data的数目，C表示种类的数量，f[i,j]可以理解为第i个train data在j类的分数，而Softmax将以f为输入，然后计算各个train data属于j类的概率，再计算Loss（一种对Softmax的解释)。Softmax的Loss function为：

                                

最低0.47元/天 解锁文章
Softmax 函数：深度学习中的概率大师
Dfreedom.的博客
11-06 886
本文深入解析了Softmax函数在深度学习多分类任务中的关键作用。通过将神经网络的原始输出(logits)转换为合法的概率分布，Softmax满足了非负性和归一性两大要求，使结果具有明确概率解释。文章详细拆解了Softmax的数学原理和计算过程，阐述了其与交叉熵损失函数的完美配合优势，并分析了指数函数的放大效应特性。同时指出Softmax的局限性（如类别互斥假设）及替代方案（如温度Softmax）。最后给出实用建议：Softmax适用于单标签互斥分类任务，但不适合多标签或类别极多的情况。全文通过具体示例和代
深度学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 36万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
深度学习 loss
10-12
深度学习 loss总结
【深度学习 一】activation function以及loss function理解
weixin_45140119的博客
09-14 547
一 首先线性回归模型：可以看成是单层神经网络 二 引入非线性元素，使神经网络可以完成非线性映射，就引入了sigmoid，ReLU，softmax等激活函数 Sigmoid函数 Sigmoid =多标签分类问题=多个正确答案=非独占输出（例如胸部X光检查、住院）。构建分类器，解决有多个正确答案的问题时，用Sigmoid函数分别处理各个原始输出值。 Sigmoid函数是一种logistic函数，它将任意的值转换到[0,1]之间，如图1所示，函数表达式为： 这里的x可以为向量y： ...
【损失函数系列】softmax loss损失函数详解
gbz3300255的博客
09-08 4万+
1.损失函数： 损失函数（loss function）是用来评测模型的预测值f(x)与真实值Y的相似程度，损失函数越小，就代表模型的鲁棒性越好，损失函数指导模型学习。根据损失函数来做反向传播修改模型参数。机器学习的目的就是学习一组参数，使得预测值与真值无限接近。 2.softmax loss： 它是损失函数的一种，是softmax和cross-entropy loss组合而成的损失函数。 先看softmax，其函数形式如下：其中zj就是某个神经网络全连...
【深度学习】一文读懂机器学习常用损失函数（Loss Function）
haima1998的专栏
07-21 1751
转自：https://www.cnblogs.com/guoyaohua/p/9217206.html 　损失函数（loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子： 　　其中，前面的均值函数表示的是经验风险函数，L代表的是损失函数，后面的Φ是正则
【深度学习】softmax 函数求导
gaocui883的博客
04-22 489
def _bwd(self,dLdy,X): dX = [] for dy,x in zip(dLdy, X): dxi = [] for dyi, xi in zip(*np.atleast_2d(dy, x)): # 用xi 计算yi. # 梯度：当i=j : yj - yj yj， 当i \= j : -yj yj # dyi,xi 都是矩阵，1 n_o..
【2】激活函数与Loss函数求导
Clichong
03-28 2325
影响找到全局极小值点的几个主要的影响因素： 1）初始点的设置 2）学习率的设置，可能会影响收敛的精度与速度 ps : 处于一个全局极小值或者是鞍点的状态时，往往会影响实验效果 import torch import torch.nn.functional as F import matplotlib.pyplot as plt # Jupyter notebook 中的魔法命令 %matplotlib inline # 在下面的代码模块里面都可以不用写
精选资源
深度学习之图像分类—-多分类支持向量机（Multi-SVM）与softmax分类
01-06
由于KNN算法的局限性,我们需要实现更强大的方法来实现图像分类，一般情况下该方法包含两个函数，一是评分函数(score function)，它是原始图像到每个分类的分值映射，二是损失函数(loss function)，它是用来量化预测...
学点基本功：机器学习常用损失函数小结
AI科技大本营
10-01 1358
（图片付费下载自视觉中国）作者 | 王桂波转载自知乎用户王桂波【导读】机器学习中的监督学习本质上是给定一系列训练样本，尝试学习的映射关系，使得给定一个，即便这个...
Multiclass SVM(多类别SVM分类）关于其 loss function 的求导
weixin_40358083的博客
10-20 1810
这两天学习cs231n的课程，顺便做一做该课程配套的作业。在assignment1中有遇到用multiclass SVM来对cifar10进行分类的问题。其中，为了进行训练，需要计算loss 和相关梯度。由于自己太菜，花了好长时间才完整梯度的求解。所以在这里记录一下具体的loss function关于权重参数矩阵W的求导过程。不足之处还请多多指教。 1. loss function...
矩阵求导术完整版.pdf
11-18
机器学习的数学技术是矩阵求导，传统的资料上的内容难以记忆。本文是一个好的入门资料，帮助大家迅速掌握理解矩阵求导方法
深度学习基础（损失函数）
2301_80038325的博客
06-13 671
损失函数（Loss Function）在机器学习和深度学习中扮演着至关重要的角色，它用来衡量模型预测值与真实值之间的差异，是优化算法的核心。通过最小化损失函数，可以使模型的预测结果更接近真实值，从而提高模型的性能。：不同的任务和模型可能需要使用不同的损失函数。在机器学习和深度学习中，损失函数用于衡量模型预测值与真实值之间的差异，是优化算法的关键部分。其中，𝑦𝑖 是真实标签的概率分布，𝑦^𝑖 是模型预测的概率分布，𝐶 是类别数。：有时候会将正则化项结合到损失函数中，形成带有正则化的损失函数，以避免过拟合。
Softmax求导
亲亲Friends的博客
04-22 931
softmax的方程为： p=softmax(z) where pi=ezi∑j=1kezjfor i=1,⋯ ,k. \boldsymbol{p}=\text{softmax}(\boldsymbol{z})\, \text{where}\, p_i=\frac{e^{z_i}}{\sum^k_{j=1}e^{z_j}} \text{for}\, i=1,\cdots,k . p=softmax(z)wherepi​=∑j=1k​ezj​ezi​​fori=1,⋯,k. 上式中p\boldsymbol{
Softmax函数及其导数
cassiePython的专栏
04-26 4万+
Softmax函数及其导数本文翻译自The Softmax function and its derivative基础概念Softmax函数的输入是N维的随机真值向量，输出是另一个N维的真值向量， 且值的范围是(0,1)(0,1)，和为1.0。即映射：S(a)=RN→RNS(\textbf{a})=\mathbb{R}^N\rightarrow \mathbb{R}^N： S(a):⎡⎣⎢⎢⎢a
softmax 损失函数求导过程
weixin_30588675的博客
04-10 303
前言：softmax中的求导包含矩阵与向量的求导关系，记录的目的是为了回顾。 　　下图为利用softmax对样本进行k分类的问题，其损失函数的表达式为结构风险，第二项是模型结构的正则化项。 　　首先，每个queue：x(i)的特征维度是 n , 参数 θ 是一个 n×k 的矩阵，输出的结果 y(i) 为一个 k×1 的向量，其中第 j 个元素对应元素的 e 指数为该 queue 属于第 j...
Softmax函数详解以及求导过程
猫敷雪
03-27 2835
这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流！ softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 Si=ei∑jejS_{i}=\frac{e^{i}}{\sum_{j} e^{j}}S...
3种softmax函数python实现方式（显式循环，向量，矩阵）
wangheng673的博客
11-25 5214
Python三种方式实现Softmax损失函数计算 python实现的softmax损失函数代码，我们先回顾一下softmax损失函数的定义： 其中右边一项为第y=j项的概率值。令J(w) = log(J(w)): 损失函数的梯度：   import numpy as np """ 第一种计算softmax_loss, 在计算每一分类的概率时，用到了矩阵运算。 ""...
softmax（矩阵）
最新发布
11-27
Softmax函数在矩阵上具有广泛应用，常用于机器学习尤其是深度学习的输出层，可将矩阵元素量化为概率值，使结果更符合人类对预测准确率的直观感受[^1]。 在MNIST手写数字识别任务中，经xw + b运算会得到一个一维矩阵，例如[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]。此时运用softmax函数（如pre = tf.nn.softmax(xw + b)），能把矩阵中的元素转化为对应数字的概率大小，结果可能是[0, 1/45, 2/45, 3/45, 4/45, …, 9/45]。之后在损失函数的计算里，可利用这些概率值与真实标签（以one - hot编码形式呈现）来计算损失，像loss = tf.reduce_mean(tf.square(y - pre))，这里的y是one - hot类型。假设真实数字是3，其one - hot编码就是[0, 0, 0, 1, 0, 0, 0, 0, 0, 0] [^1]。 从数学原理来看，对于输入矩阵x∈R1×n，softmax函数的计算公式为softmax(x)=softmax([x1 x2 … xn])=[ex1∑jexj ex2∑jexj ... exn∑jexj] ，它能把一个含任意实数的K维向量“压缩”到另一个K维实向量中，让每个元素的范围都在[0, 1]之间，并且所有元素的和为1 [^2][^3]。 在代码实现方面，在Python的PyTorch库中，对于稀疏矩阵求softmax的操作如下： ```python import torch # 假设已经定义好 v_indices, temp, num_node temp = self.gen_mlp(self.dropout(ff)).reshape(-1) z_matrix = torch.sparse.FloatTensor(v_indices, temp, (num_node, num_node)) pi = torch.sparse.softmax(z_matrix, dim=1) ``` 此代码将生成的临时向量temp构建成稀疏矩阵z_matrix，然后对其按行（dim = 1）应用softmax函数 [^4]。 在机器学习课程练习中，softmax函数在预测任务里也有应用。以下是一个预测函数的示例： ```matlab function [pred] = softmaxPredict(softmaxModel, data) % softmaxModel - model trained using softmaxTrain % data - the N x M input matrix, where each column data(:, i) corresponds to % a single test set % % Your code should produce the prediction matrix % pred, where pred(i) is argmax_c P(y(c) | x(i)). % Unroll the parameters from theta theta = softmaxModel.optTheta; % this provides a numClasses x inputSize matrix pred = zeros(1, size(data, 2)); %% ---------- YOUR CODE HERE -------------------------------------- % Instructions: Compute pred using theta assuming that the labels start % from 1. hypothesis = exp(theta * data); [a,pred] = max(hypothesis); % --------------------------------------------------------------------- end ``` 该函数依据训练好的softmax模型和输入数据，计算预测结果。它先将模型参数展开，接着计算指数矩阵，最后找出每列的最大值对应的索引作为预测结果 [^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值