凸还是非凸？交叉熵在softmax和neural network中的不同凸性

最新推荐文章于 2025-03-19 11:25:34 发布
最新推荐文章于 2025-03-19 11:25:34 发布
阅读量6.2k 收藏 9
点赞数 6
分类专栏： loss function 文章标签： loss function cross entropy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/RHONYN/article/details/80342126
版权
交叉熵在分类问题中作为损失函数，尤其在logistic回归和神经网络中常见。本文探讨了其在softmax回归中的凸性质，通过Hessian矩阵的半正定性证明其在该场景下是（非严格）凸函数。然而，在神经网络中，由于参数的对称性，交叉熵不再是凸函数，可能存在多个局部最优解。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

交叉熵损失函数

交叉熵是极大似然估计的直接产物，常在分类问题中作为logistic回归和neural network的损失函数出现（据说在回归问题中最小均方误差使用较多）。

在优化过程中，函数的凸性对优化有较大影响，对于凸函数，局部最优解等同于全局最优解，因而能够通过基于梯度的方法找到全局最优解，而非凸函数局部最优解不等于全局最优解，使用基于梯度的方法不能保证找到全局最优解。交叉熵的凸性较为复杂，它在logistic回归中是权重 w w 的凸函数，但在neural network中却不是凸的。下面证明这一结论。

softmax回归

二阶可微函数为（非严格）凸函数的充要条件为Hessian矩阵半正定，下面计算softmax回归的交叉熵的Hessian矩阵，简洁起见省去bias项。设目前面对的分类问题是k分类，则损失函数为

C ( w 1 , w 2 , ⋯ , w k ) = − 1 m [ ∑ i = 1 m ∑ j = 1 k 1 { y ( i ) = j } log ⁡ e w j T x ( i ) ∑ l = 1 k e w l T x ( i ) ]

1{ ⋅} 1 { ⋅ } 是示性函数。

注意softmax函数的导数的特殊性：

令

aj=ewTjx∑kl=1ewTlx a j = e w j T x ∑ l = 1 k e w l T x

当 n≠j n ≠ j 时
最低0.47元/天 解锁文章
AI之DL：人工智能领域—深度学习的简介(包括相关术语概念)、常用算法、常用框架、应用场景之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-30 1万+
​ DL：深度学习技术之BP神经网络的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略 目录 深度学习浪潮兴起的三大因素 BP神经网络的简介 深度学习(神经网络)的算法分类 深度学习浪潮兴起的三大因素 海量的数据 不断提升的算法能力 高性能计算硬件的实现：GPU、TPU 1、感知机 DL之Perceptron：Perceptron感知器(感知机/多层感知机/人工神经元)的简介、原理、案例应用(相关配图)之详细攻略 2、对比：传统
交叉熵损失函数原理详解
jacke121的专栏
07-20 2001
之前在代码中经常看见交叉熵损失函数(CrossEntropy Loss)，只知道它是分类问题中经常使用的一种损失函数，对于其内部的原理总是模模糊糊，而且一般使用交叉熵作为损失函数时，在模型的输出层总会接一个softmax函数，至于为什么要怎么做也是不懂，所以专门花了一些时间打算从原理入手，搞懂它，故在此写一篇博客进行总结，以便以后翻阅。 信息量 信息奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”，也就是说衡量信息量的大小就是看这个信息消除不确定性的程度。 “太阳从东边
交叉熵(Cross Entropy loss)
qq_29981283的博客
10-25 2408
交叉熵 分类问题常用的损失函数为交叉熵（Cross Entropy Loss）。 交叉熵描述了两个概率分布之间的距离，交叉熵越小说明两者之间越接近。 原理这篇博客介绍的简单清晰： https://blog.youkuaiyun.com/xg123321123/article/details/52864830 总结：　熵是信息量的期望值，它是一个随机变量的确定性的度量。 熵越大，变量的取值越不确定；反之，熵越小...
交叉熵损失函数
qq_34514046的博客
06-27 463
为啥不使用均方误差损失函数？主要原因是在分类问题中，使用sigmoid/softmx得到概率，配合MSE损失函数时，采用梯度下降法进行学习时，会出现模型一开始训练时，学习速率非常慢的情况交叉熵函数是凸函数，求导时能够得到全局最优值。信息量：熵： 相对熵： 又称KL散度(Kullback-Leibler (KL) divergence)，用于衡量对于同一个随机变量x的两个单独的概率分布P(x)和Q(x)之间的差异。相对熵不具有对称性、不具有负数性将上面相对熵KL散度修改格式如下：KL散度 = 信息熵 - 交叉
CT图像中凸集和非凸集
最新发布
xy_optics的博客
03-19 888
类别示例是否凸集是否适合正交投影非负像素值所有像素≥0\geq 0≥0✅ 凸✅ 适合总变差约束TV 小的图像✅ 凸✅ 适合真实 CT 图像分布仅包含自然出现的医学图像❌ 非凸❌ 需要近似投影深度学习先验通过 GAN 或 CNN 生成的 CT 图像❌ 非凸❌ 需要神经网络近似。
损失函数：交叉熵
每一个不曾起舞的日子，都是对人生的辜负。
10-05 916
给定两个概率分布p和q，通过q来表示p的交叉熵为： H(p,q)=−∑xp(x)logq(x)\LARGE H(p,q)=-\sum_{x}p(x)logq(x)H(p,q)=−∑x​p(x)logq(x) 交叉熵刻画的是两个概率分布之间的距离，或可以说它刻画的是通过概率分布q来表达概率分布p的困难程度，p代表正确答案，q代表的是预测值，交叉熵越小，两个概率的分布约接近。 在神经网络中通常使用 S...
损失函数——交叉熵损失（Cross-entropy loss）
热门推荐
weixin_50752408的博客
03-15 2万+
对于每个类别i，yi​表示真实标签x属于第i个类别的概率，y^​i​表示模型预测x属于第i个类别的概率。对于每个输入数据x，我们定义一个C维的向量y^​，其中y^​i​表示x属于第i个类别的概率。假设真实标签y是一个C维的向量，其中只有一个元素为1，其余元素为0，表示x属于第k个类别。该函数将输入数据视为模型输出的概率分布，将目标标签视为类别索引，并计算这些概率与实际标签之间的交叉熵损失。其中，xi​表示真实标签的第i个元素，y​i​表示模型预测x属于第i个类别的概率。清空梯度，计算模型输出和损失，使用。
含噪学习 --《Learning from Noisy Labels with Deep Neural Networks: A Survey》
D2461798571的博客
11-19 916
在许多研究中，人们已经对架构进行了更改，以对噪声数据集的噪声转移矩阵进行建模 [16]、[75]–[82]。通过基于估计的标签转移概率修改 DNN 输出，最终架构实现了更好的泛化。专用架构旨在提高对复杂标签噪声的处理能力，特别是比简单标签转移更复杂的噪声类型。假定在给定真实标签的情况下，噪声的产生与数据特征无关：通过噪声转移矩阵T建模，定义。深度学习网络受到噪声标签的影响，拟合时包括噪声标签的特征，导致网络泛化性差。为了解决噪声数据对网络的影响，提出了不同的方法。用于描述真实标签和噪声标签之间的关系。
人工神经网络方法学习步长_人工神经网络-一种直观的方法第1部分
weixin_26632369的博客
07-21 2075
人工神经网络方法学习步长 内容 (Contents) Artificial Neural Network 人工神经网络 Activation functions 激活功能 Loss functions 损失函数 人工神经网络 (Artificial Neural Network) The human brain is the most sophisticated of all supercomp...
监督学习中的损失函数及应用研究
weixin_45585364的博客
03-09 3866
监督学习中的损失函数及应用研究邓建国,张素兰,张继福,荀亚玲,刘爱琴太原科技大学计算机科学与技术学院，山西 太原 030024摘要：监督学习中的损失函数常用来评估样本的真实值和模...
理论学习：损失函数 | 交叉熵损失函数
llf000000的博客
03-11 1312
该标准计算输入 logits 和目标之间的交叉熵损失。
神经网络-损失函数是不是凸的
Harry的博客
04-22 5118
损失函数是不是凸的？ 不是 全局最优不一定是好的解，局部最优不一定是差的解 NN中设计得激活函数是为了引入非线性变换，凸不凸都可以 NN不凸，是多个隐藏层导致的，即使每一层激活函数都是凸的，目标函数依旧是非凸问题。 激活函数设计为凸就可以得到凸的优化目标，然而NN不凸，是多个隐藏层导致的，即使每一层激活函数都是凸的，目标函数依旧是非凸问题，举例说明 举例说明：假设一个NN的最后一层...
逻辑损失函数为什么是凸函数
weixin_41570231的博客
07-18 620
逻辑损失函数（Logistic Loss Function），也称为对数损失函数（Log Loss）或二元交叉熵损失函数（Binary Cross-Entropy Loss），是凸函数。这是因为其二阶导数总是非负的。让我们通过数学推导来理解为什么逻辑损失函数是凸函数。首先，回顾逻辑损失函数的定义：其中，是实际标签（0 或 1），是预测值（0 到 1 之间的概率）。对于凸性分析，我们需要计算并分析函数的二阶导数。对预测值求导。
交叉熵损失原理
weixin_43937959的博客
02-15 2303
前言  在深度学习的分类任务中使用最多的事交叉熵损失函数，在B站刷完视频后赶紧记录一下。 正文  在多分类任务通常使用softmax将logits(即score)转换为概率的形式。在计算损失的时候就是讲logits(即score)转换为概率的值与真实值比较，来衡量两者之间的差距，即使用交叉熵损失函数来衡量。  这个交叉熵损失函数一般是接在softmax后面的，所以多分类的交叉熵损失也叫做softmax损失，它的计算方法是（如下图所示）：  其中，y是样本x属于某一个类别的真是概率，而f(x)是样本属于某一
凸集、凸函数、凸优化
Tomcat的专栏
07-19 553
凸集 集合中的任意两点连线的点都在该集合中 凸函数 简单理解为对曲线上任意两点连线上的点对应的函数值不大于该两点对应的函数值得连线上的值。 凸函数仅仅是定义在凸集上的函数。[1] p154 凸优化 由凸函数构成的凸优化具有很好的性质： [1] p155 （1）凸优化的任一局部极小（大）点也是全局极小（大）点，且全体极小（大）点的集合为凸集 （2）凸...
每天五分钟机器学习：逻辑回归算法的损失函数为什么是凸函数？
huanfeng_AI的博客
09-24 1922
逻辑回归算法使用交叉熵损失函数的原因是什么？
经典损失函数——均方误差(MSE)和交叉熵误差(CEE)的python实现
Answer3664的博客
06-19 1万+
损失函数（loss function）用来表示当前的神经网络对训练数据不拟合的程度。这个损失函数有很多，但是一般使用均方误差和交叉熵误差等。 1.均方误差（mean squared error） 先来看一下表达式： 用于将的求导结果变成，是神经网络的输出，是训练数据的标签值，k表示数据的维度。 用python实现： def MS...
如何在Python中导入并使用NeuralNetwork类？
10-17
在Python中导入并使用`NeuralNetwork`类，首先你需要确保你已经安装了支持深度学习的库，如TensorFlow或Keras。以下是使用这两个库的一个例子： **使用TensorFlow：** ```python # 首先安装 TensorFlow（如果尚未安装） pip install tensorflow # 导入所需的模块 import tensorflow as tf # 定义神经网络类 class NeuralNetwork(tf.keras.models.Model): def __init__(self, input_shape, num_classes): super(NeuralNetwork, self).__init__() self.conv_layer = tf.keras.layers.Conv2D(32, (3, 3), activation='relu') self.flatten = tf.keras.layers.Flatten() self.dense_layer = tf.keras.layers.Dense(num_classes, activation='softmax') def call(self, inputs): x = self.conv_layer(inputs) x = self.flatten(x) return self.dense_layer(x) # 创建一个实例并使用它 model = NeuralNetwork((28, 28, 1), 10) # 输入形状和类别数 ``` **使用Keras（Keras是基于TensorFlow的高级API）：** ```python from keras.models import Sequential from keras.layers import Dense, Conv2D, Flatten # 定义神经网络类（Keras内置函数可以直接使用） def create_model(input_shape, num_classes): model = Sequential([ Conv2D(32, (3, 3), activation='relu', input_shape=input_shape), Flatten(), Dense(num_classes, activation='softmax') ]) return model # 使用创建的模型 model = create_model((28, 28, 1), 10) ``` 记住，你需要根据实际需求调整输入形状、层数和激活函数等参数。当你准备好训练数据后，就可以通过`.fit()`方法开始训练你的模型了。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值