深度神经网络（DNN）损失函数和激活函数的选择

最新推荐文章于 2025-03-19 16:49:03 发布
最新推荐文章于 2025-03-19 16:49:03 发布
阅读量1.1k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习100例全系列详细教程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/98173767
本文详细介绍了深度神经网络（DNN）中损失函数和激活函数的选择，包括均方差损失函数+Sigmoid的问题，如何通过交叉熵损失函数改进收敛速度，以及在分类任务中使用对数似然损失函数和softmax激活函数。同时，文章讨论了ReLU激活函数在解决梯度消失问题上的效果，以及DNN中其他常见的激活函数，如tanh和softplus。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

　　在深度神经网络（DNN）反向传播算法(BP)中，我们对DNN的前向反向传播算法的使用做了总结。里面使用的损失函数是均方差，而激活函数是Sigmoid。实际上DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢？下面我们就对DNN损失函数和激活函数的选择做一个总结。

1. 均方差损失函数+Sigmoid激活函数的问题

　　　　在讲反向传播算法时，我们用均方差损失函数和Sigmoid激活函数做了实例，首先我们就来看看均方差+Sigmoid的组合有什么问题。

　　　　首先我们回顾下Sigmoid激活函数的表达式为：

σ(z)=11+e−zσ(z)=11+e−z

　　　　σ(z)σ(z)的函数图像如下：

　　　　从图上可以看出，对于Sigmoid，当zz的取值越来越大后，函数曲线变得越来越平缓，意味着此时的导数σ′(z)σ′(z)也

了解本专栏 订阅专栏 解锁全文
DNN深度神经网络损失函数选择
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
05-25 956
文章目录损失函数的类别：专业名词中英文对照 损失函数的类别： 1.均方误差（MSE）、SVM的合页损失（hinge loss）、交叉熵（cross entropy） 2.相对熵 相对熵又称KL散度，用于衡量对于同一个随机变量x的两个分布p(x)和q(x)之间的差异。在机器学习中，p(x)常用于描述样本的真实分布，例如[1,0,0,0]表示样本属于第一类，而q(x)则常常用于表示预测的分布，例如[0...
神经网络训练：激活函数与损失函数的选择，一篇干到底！
最新发布
zyh252609的博客
05-15 1152
激活函数决定神经元怎么响应输入，是“反应力”损失函数决定模型往哪儿学，是“学习目标”激活函数选错，模型没法表达复杂关系损失函数选错，模型学错方向实战中，ReLU + 合适的损失函数是黄金组合。
深度神经网络DNN（五）——损失函数
热门推荐
weixin_45768638的博客
09-20 2万+
文章目录
DNN的损失函数与激活函数
咔咔响
01-28 500
1.均方误差与Sigmoid函数组合的DNN带来的问题是W,b更新速度慢2.使用交叉熵损失得到的梯度不包含激活函数的导数σ’(z)3.softmax与负对数似然组合应用在多分类模型里面4...
DNN的损失函数和激活函数
kakak_的博客
04-13 687
均方差损失函数+Sigmoid激活函数 Sigmoid激活函数σ(z)=11+e−z\sigma(z) = \frac{1}{1+e^{-z}}σ(z)=1+e−z1​ 对于Sigmoid，当????的取值越来越大后，函数曲线变得越来越平缓，意味着此时的导数????′(????)也越来越小。同样的，当????的取值越来越小时，也有这个问题。仅仅在????取值为0附近时，导数????′(????)的取值较大。 均方差+Sigmoid的BP...
深度神经网络之损失函数和激活函数
谓之小一
06-30 2万+
1.损失函数和激活函数简介 通过前面深度神经网络之前向传播算法和深度神经网络之反向传播算法的学习，我们能够了解到损失函数是用来评估模型的预测值与真实值之间的差异程度。另外损失函数也是神经网络中优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程，损失函数越小，说明模型的预测值就越接近真实值，模型的准确性也就越好。前面我们已经学习过平方损失函数，对数损失函数、交叉熵损失函数等不同形式...
归档.zip_DNN神经网络_tensorflow_tensorflow dnn_函数拟合_用DNN拟合函数
07-15
在本项目中，我们主要关注的是使用深度神经网络（DNN）进行函数拟合，这是一种在机器学习领域广泛应用的技术。TensorFlow是一个强大的开源库，它为构建和训练DNN提供了便利。下面，我们将深入探讨DNN神经网络和...
高级人工智能：深度神经网络DNN.pptx
09-19
"高级人工智能：深度神经网络DNN" 深度神经网络（DNN）是人工智能领域中一个非常重要的分支，近年来得到了蓬勃发展。下面我们将从深度神经网络的发展历史、动机、常用模型、技术架构和应用领域等方面进行系统的剖析...
深度神经网络（DNN）结构与训练方法解析
一碗黄焖鸡三碗米饭的博客
03-19 1118
深度神经网络（DNN）是深度学习的核心模型之一，其强大的表达能力使得它能够在众多复杂任务中取得卓越的表现。本文详细介绍了 DNN 的基础结构、训练过程和优化算法，并提供了实用的代码示例和常见问题的解决方案。在实践中，掌握这些基础概念和技巧可以帮助我们构建更加高效和精确的深度神经网络模型。如果你对 DNN 有进一步的兴趣，可以尝试调整模型的超参数，或探索更多先进的优化算法（如 Adam、RMSprop 等）。随着经验的积累，你将能够在各种复杂的实际问题中灵活应用深度学习技术。
深度学习之（三）：附3-DNN损失函数和激活函数选择
Nicola.Zhang
04-27 308
深度神经网络（DNN）损失函数和激活函数的选择 https://www.cnblogs.com/pinard/p/6437495.html
深度学习（二）：DNN损失函数和激活函数的选择
anshuai_aw1的博客
11-30 3243
在《深度学习（一）：DNN前向传播算法和反向传播算法》中，我们对DNN的前向反向传播算法的使用做了总结。里面使用的损失函数是均方差，而激活函数是sigmoid。实际上DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢？下面我们就对DNN损失函数和激活函数的选择做一个总结。 一、 均方差损失函数+sigmoid激活函数的问题 在讲反向传播算法时，我们用均方差损失函数和Sigmo...
机器学习：常见的损失函数
贾慧玉的博客
05-02 871
常见的损失误差有五种： 1. 铰链损失（Hinge Loss）：主要用于支持向量机（SVM） 中； 2. 互熵损失 （Cross Entropy Loss，Softmax Loss ）：用于Logistic 回归与Softmax 分类中； 3. 平方损失（Square Loss）：主要是最小二乘法（OLS）中； 4. 指数损失（Exponential Loss） ：主要用于Adab...
神经网络系列---损失函数
weixin_43763292的博客
02-24 3498
在分类任务中，信息熵损失函数的作用是最小化模型预测的类别概率分布与真实标签的差异，使得模型能够更好地预测正确类别。平均绝对误差（Mean Absolute Error，MAE）是常用的回归问题中的损失函数，用于衡量模型预测结果与真实标签之间的差异。均方误差（Mean Squared Error，MSE）是常用的回归问题中的损失函数，用于衡量模型预测结果与真实标签之间的差异。Hinge Loss 的特点是，对于预测结果与真实标签的差异小于1的情况，损失为0，这被称为“合页点”（hinge point）。
神经网络算法——损失函数（Loss Function）
不要给自己设限，尝试更多可能（思所向 皆可往）
03-08 1万+
本文将从损失函数的本质、损失函数的原理、损失函数的算法三个方面，详细介绍损失函数Loss Function。损失函数。
bp网络损失函数及梯度推导理解
qq_45926473的博客
03-31 2993
跟随吴恩达老师的机器学习课程学习了一段时间，把最近较难的bp网络的一些推导梳理一下。 一、损失函数 logistic回归 假设只有一个输入样本，则代价函数是： J(θ)=−ylogh(x)−(1−y)log(1−h)J(\theta)=-ylogh(x)-(1-y)log(1-h)J(θ)=−ylogh(x)−(1−y)log(1−h) 多个输入样本只要累加就可以： J(θ)=−1m[∑i=1my(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]J(θ)=−\frac1m[\su
手撕CNN神经网络（二）反向传播（back propagation）
debby233的博客
08-22 1602
反向传播简单来说就是通过求偏导数从而更新神经网络中权重w的过程首先先简单复习一下前向传播（forward propagation）篇幅有限，bias（b）在图中就没画出来，大家知道有这么个东西就好 ，顺便再偷个懒，输出层的激活函数忘记画上去了~在正式说反向传播之前，先说两个简单的概念。
Python深度神经网络DNN数据回归预测教程
这一过程通常涉及到选择合适的网络架构、调整超参数、选择合适的激活函数和损失函数等。 6. 标签说明 - 回归：描述了该程序在解决回归问题上的应用。 - dnn：指明了程序使用的核心技术是深度神经网络。 - python：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文宇肃然

精神和物质鼓励你选一个吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值