keras深度训练6: 激活函数和损失函数的选择

最新推荐文章于 2025-05-15 23:32:50 发布
原创 最新推荐文章于 2025-05-15 23:32:50 发布 · 4.7k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

探讨使用ReLU激活函数时是否还需要采用交叉熵损失函数。通过解析两种方法的特点及应用场景，帮助理解它们之间的关系及其对模型训练的影响。
部署运行你感兴趣的模型镜像

您可能感兴趣的与本文相关的镜像

Yolo-v5

Yolo-v5

Yolo

YOLO（You Only Look Once）是一种流行的物体检测和图像分割模型，由华盛顿大学的Joseph Redmon 和Ali Farhadi 开发。 YOLO 于2015 年推出，因其高速和高精度而广受欢迎

Keras深度学习实战——深度学习中常用激活函数和损失函数详解
走向CTO的路上...
05-22 1562
本教程将介绍 Keras 深度学习框架中常用的激活函数和损失函数。激活函数用于引入非线性特性，使得神经网络能够更好地学习和模拟复杂的输入输出关系；损失函数用于度量模型预测结果与真实值之间的差异，选择合适的损失函数对于模型的训练至关重要。Keras 深度学习框架提供了简单易用的工具来选择和使用激活函数和损失函数，这使得深度学习技术可以更加广泛地应用。
Keras深度学习实战（4）——深度学习中常用激活函数和损失函数详解
盼小辉丶的博客
04-27 1万+
使用激活函数可以实现网络的高度非线性，这对于建模输入和输出之间的复杂关系非常关键，只有加入了非线性激活函数之后，深度神经网络才具备了令人惊异的非线性映射学习能力。 利用损失函数计算损失值，模型就可以通过反向传播去更新各个参数，通过降低真实值与预测值之间的损失，使得模型计算得到的预测值趋近于真实值，从而达到模型训练的目的。激活函数和损失函数是神经网络中十分重要的组件，本节介绍深度学习中常用的激活函数和损失函数。.........
机器学习损失函数 / 激活函数 / 优化算法 总览
noobiee的博客
08-26 2874
关键词：交叉熵，KL散度（相对熵），BCELoss，Contrastive loss，triplet loss，n-pair loss，focal loss sigmoid，tanh，ReLU，PReLU，ELU，GeLU BGD，SGD，momentum，NAG，AdaGrad，RMSprop，Adam，AdamW
深度学习笔记(三)：激活函数和损失函数
热门推荐
Multiangle's Notepad
09-17 12万+
这一部分来探讨下激活函数和损失函数。在之前的logistic和神经网络中，激活函数是sigmoid, 损失函数是平方函数。但是这并不是固定的。事实上，这两部分都有很多其他不错的选项，下面来一一讨论3. 激活函数和损失函数3.1 激活函数关于激活函数，首先要搞清楚的问题是，激活函数是什么，有什么用？不用激活函数可不可以？答案是不可以。激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么
损失函数和激活函数
weixin_44953928的博客
02-23 505
文章目录一、 激活函数1.sigmoid函数2.阶跃函数3.非线性函数：ReLU函数二、损失函数1.均方误差2.交叉熵误差3. mini-batch学习 一、 激活函数 1.sigmoid函数 def sigmoid(x): return 1 / (1 + np.exp(-x)) 2.阶跃函数 def step_function(x): y = x > 0 return y.astype(np.int) 3.非线性函数：ReLU函数 def relu(x): return np.
损失函数+激活函数
openslide的基本操作
04-14 548
网上文章一大抄！看到好几篇讲激活函数的，而且错误全一样。我是想看一下softmax的公式，却意外发现一篇讲得不错的blog，主要是把损失函数和激活函数的搭配问题讲清楚了，推荐一下：点击打开链接另有一篇从神经生物学角度和分析各激活函数优劣的文章，虽是转载，也值得一看：点击打开链接...
激活函数和损失函数
WX_Chen的博客
08-08 2439
激活函数 在之前的logistic和神经网络中，激活函数是sigmoid, 损失函数是平方函数。但是这并不是固定的。   激活函数的主要作用是提供网络的非线性建模能力。 只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。   常见的激活函数多是分段线性和具有指数形状的非线性函数。   损失函数 其中y是我们期望的输出，a为神经元的实际输出 因为s...
神经网络训练：激活函数与损失函数的选择，一篇干到底！
zyh252609的博客
05-15 1294
激活函数决定神经元怎么响应输入，是“反应力”损失函数决定模型往哪儿学，是“学习目标”激活函数选错，模型没法表达复杂关系损失函数选错，模型学错方向实战中，ReLU + 合适的损失函数是黄金组合。
神经网络基础：激活函数损失函数与优化器
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
03-24 1251
神经网络基础：激活函数、损失函数与优化器 作者：禅与计算机程序设计艺术 1. 背景介绍 随着深度学习的蓬勃发展,神经网络已经成为当今人工智能领域最为重要和广泛应用的技术之一。神经网络的核心在于它能够通过学习数据中隐藏的复杂模式,从而实现对未知数据的高效预测和分类。而在
Keras深度学习框架基础第二讲：层接口(layers API)“层激活函数”
MUKAMO的博客
05-29 1446
激活函数在神经网络中起着至关重要的作用，它们引入非线性，使得网络能够学习复杂的数据表示。常见的激活函数如ReLU、Sigmoid、Tanh各有特点，而像Swish、Mish和GELU等则是近年来提出的改进版本。Log-Softmax常用于多分类问题的输出层，将原始分数转换为概率分布。自定义激活函数可以通过定义可调用的对象实现，允许研究人员根据任务需求灵活设计。选择适当的激活函数对于提高网络性能至关重要。
深度学习不同激活函数之间的比较
06-21
本文对深度学习算法中，不同激活函数之间进行了比较。
深度学习损失函数和激活函数
E_vens
06-16 465
一、损失函数 L1损失函数 L2损失函数 Cross Entropy交叉熵损失函数 MSE均方误差损失函数 Wing Loss:专为特征点检测提出的目标函数 二、激活函数 sigmoid函数/Logistic 函数 tanh函数（双曲正切函数） ReLU函数（修正线性单元） ...
机器学习中常用的几种函数——激活函数、损失函数
lucky_chaichai的博客
01-02 3146
sigmoid等激活函数、loss损失函数
什么是损失函数？什么是激活函数？
yxx122345的博客
09-10 1562
优化目标: 损失函数告诉我们模型预测有多大误差，并指导模型参数的更新方向和幅度。模型评估: 损失函数的值直接反映了模型在给定任务上的表现。非线性变换: 激活函数让神经网络能够表达更复杂的关系和模式。梯度传播: 在反向传播中，激活函数的导数影响了梯度传播过程，影响训练效果。损失函数: 衡量模型预测误差的大小，指导模型参数更新，最终优化模型性能。激活函数: 通过引入非线性，使神经网络能够学习复杂的模式和特征，提升网络的表现能力。
深度学习中的激活函数与损失函数
u013804334的博客
07-23 979
a.为什么在神经网络中加入非线性是必须的？ b.写出下列每个激活函数的表达式及其导数。绘制原函数及其导数的图像。总结各激活函数的利弊。 ReLU:max(0,x) Sigmoid:,其导数为 Tanh:，其导数为 原函数图像为 图1 原函数图像 对应的导数图像为 图2 对应函数导数图像 附上在jupyter notebook上绘制图像的程序 import matplotlib.pyplot as plt import numpy as np x=np.linspace(-5,...
深度学习基础篇：如何选择正确的激活函数？
akon_wong_hkbu的博客
10-30 1238
转载自知乎 https://zhuanlan.zhihu.com/p/30510596?utm_source=wechat_timeline&utm_medium=social&from=timeline
Keras笔记-损失函数的使用
qq_37939434的博客
06-26 1380
Keras中文文档：https://keras.io/zh/losses/ 1.损失函数的使用 损失函数（或称目标函数、优化评分函数）是编译模型时所需的两个参数之一： model.compile(loss='mean_squared_error', optimizer='sgd') from keras import losses model.compile(loss=losses....
神经网络激活函数列表大全及keras中的激活函数定义
老猿Python
10-06 2208
在机器学习中，激活函数是神经网络中的一种函数，用于在神经网络的每个神经元中引入非线性。没有激活函数，神经网络就无法学习复杂的模式，因为线性变换的组合仍然是线性的。在Keras中，激活函数可以通过设置单独的 Activation 层实现，也可以在构造层对象时通过传递 activation 参数实现。本文介绍了11个激活函数，包括线性函数linear、线性指数激活函数elu、整流线性单元relu、可伸缩指数线性单元SELU、softmax函数、softplus函数、softsign函数、sigmoid函数、ha
python 深度学习keras 激活函数和损失函数有哪些
最新发布
06-15
<think>我们正在处理用户关于Keras框架中激活函数和损失函数的查询。根据引用，我们可以整理相关信息。首先，激活函数部分：引用[1]提供了11个激活函数：线性函数(linear)、线性指数激活函数(elu)、整流线性单元(relu)、可伸缩指数线性单元(selu)、softmax函数、softplus函数、softsign函数、sigmoid函数、hard_sigmoid函数、自然数指数激活函数(exponential)、双曲正切激活函数(tanh)。引用[2]提到了一种高级激活函数：LeakyReLU（LeakyRectifiedLinearUnit），它是ReLU的一种改进。注意：Keras中除了内置的激活函数（通过字符串标识符使用），还有一些高级激活函数（如LeakyReLU）需要作为单独的层使用（例如`keras.layers.LeakyReLU`）。其次，损失函数部分：引用[3]提到了损失函数返回值的格式，但没有列出具体的损失函数名称。引用[4]介绍了softmax函数，它通常用于多分类问题的输出层，但softmax本身不是损失函数，而是激活函数。与softmax配合使用的损失函数通常是分类交叉熵（categoricalcrossentropy）。我们需要结合Keras官方文档中常见的损失函数来列举。常见的损失函数包括：-均方误差（mean_squared_error，MSE）-平均绝对误差（mean_absolute_error，MAE）-平均绝对百分比误差（mean_absolute_percentage_error，MAPE）-二元交叉熵（binary_crossentropy）用于二分类-分类交叉熵（categorical_crossentropy）用于多分类-稀疏分类交叉熵（sparse_categorical_crossentropy）用于多分类且标签为整数的情况-铰链损失（hinge）-平方铰链损失（squared_hinge）-KL散度（kullback_leibler_divergence）-余弦相似度（cosine_similarity）-泊松损失（poisson）-等等由于引用中没有完整列出损失函数，我们需要根据Keras的常见损失函数进行补充。另外，引用[5]提到了GPT2模型在KerasNLP中的实现，但与我们当前问题关系不大。因此，我们将整理如下：激活函数：1.linear2.elu3.relu4.selu5.softmax6.softplus7.softsign8.sigmoid9.hard_sigmoid10.exponential11.tanh12.LeakyReLU(需要作为层使用，不能直接通过字符串使用)此外，Keras中还有一些其他激活函数，比如：-swish(在Keras中可以通过字符串'swish'使用，但注意版本要求，Keras2.2.4+或TensorFlow2.4+支持)-gelu(高斯误差线性单元，可以通过字符串'gelu'使用，同样需要较新版本)但引用中未提及，我们根据用户要求“所有”激活函数，应尽可能列举全面。然而，由于引用有限，我们主要基于引用和常见函数列举。损失函数（常见）：1.mean_squared_error或mse2.mean_absolute_error或mae3.mean_absolute_percentage_error或mape4.mean_squared_logarithmic_error或msle5.binary_crossentropy6.categorical_crossentropy7.sparse_categorical_crossentropy8.kullback_leibler_divergence或kld9.poisson10.cosine_similarity11.hinge12.squared_hinge13.huber_loss(需要TensorFlow2.4以上)14.log_cosh注意：Keras允许通过字符串标识符（如'mse'）或函数对象（如tf.keras.losses.mean_squared_error）来指定损失函数。由于Keras的损失函数可能随着版本更新而增加，我们列举的是常用和核心的损失函数。根据引用[3]，损失函数的返回值格式取决于是否设置return_dict和是否有度量指标。在回答时，我们将分为激活函数和损失函数两部分，并分别列举。同时，我们将按照引用[1][2]的方式给出激活函数的说明，对于损失函数则给出简要说明。注意：用户要求生成相关问题，所以最后需要添加相关问题。由于引用中关于损失函数的信息较少，我们将主要依赖常见知识进行列举，并注明来源为Keras官方文档（但引用中未提供官方文档的引用，因此我们只根据已有的引用信息进行回答，并补充常见知识）。我们按照以下结构回答：1.激活函数列表（包括基本激活函数和高级激活函数）2.损失函数列表3.相关问题注意：高级激活函数（如LeakyReLU）在Keras中通常作为层来使用，而不是作为字符串标识符传递给激活参数。因此，我们将它们单独列出。开始回答：</think>### Keras 中的激活函数和损失函数列表 #### **激活函数** 在 Keras 中，激活函数用于为神经网络引入非线性，使其能够学习复杂模式。以下是核心激活函数列表（可通过 `activation` 参数或 `Activation` 层使用）： 1. **线性函数** - `linear`：恒等函数 $f(x) = x$ - 适用场景：回归输出层 2. **整流线性单元（ReLU）及变体** - `relu`：$f(x) = \max(0, x)$[^1] - `elu`（指数线性单元）： $$ f(x) = \begin{cases} x & \text{if } x \geq 0 \\ \alpha(e^x - 1) & \text{if } x < 0 \end{cases} $$ - `selu`（可伸缩指数线性单元）： $$ f(x) = \lambda \begin{cases} x & \text{if } x \geq 0 \\ \alpha e^x - \alpha & \text{if } x < 0 \end{cases} $$ - `LeakyReLU`（需作为独立层使用）： $$ f(x) = \begin{cases} x & \text{if } x \geq 0 \\ \beta x & \text{if } x < 0 \end{cases} $$ [^2] 3. **Sigmoid 族** - `sigmoid`：$f(x) = \frac{1}{1 + e^{-x}}$ - `hard_sigmoid`：分段线性近似，计算更快 4. **Softmax 函数** - `softmax`：$S_i = \frac{e^{V_i}}{\sum_j e^{V_j}}$[^4] - 适用场景：多分类输出层 5. **其他函数** - `tanh`（双曲正切）：$f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$ - `softplus`：$f(x) = \ln(1 + e^x)$ - `softsign`：$f(x) = \frac{x}{|x| + 1}$ - `exponential`：$f(x) = e^x$ > **注意**：高级激活函数（如 `LeakyReLU`、`PReLU`）需通过 `keras.layers.LeakyReLU()` 作为独立层添加[^2]。 --- #### **损失函数** 损失函数用于量化模型预测与真实值的差距，可通过 `loss` 参数指定。常用损失函数包括： 1. **回归任务** - `mean_squared_error`（MSE）：$\frac{1}{n}\sum_{i=1}^n(y_i - \hat{y}_i)^2$ - `mean_absolute_error`（MAE）：$\frac{1}{n}\sum_{i=1}^n|y_i - \hat{y}_i|$ - `huber_loss`：结合 MSE 和 MAE 的鲁棒损失 - `log_cosh`：$\log(\cosh(\hat{y} - y))$，近似 MSE 但更平滑 2. **分类任务** - `binary_crossentropy`：二分类交叉熵 - `categorical_crossentropy`：多分类交叉熵（需 one-hot 编码） - `sparse_categorical_crossentropy`：多分类（整数标签） - `kullback_leibler_divergence`（KL 散度）：概率分布差异度量 3. **其他任务** - `hinge`：支持向量机损失 - `cosine_similarity`：向量相似度优化 - `poisson`：泊松分布计数数据 > **返回值说明**：损失函数返回值类型由 `return_dict` 参数控制（标量、列表或字典）[^3]。 --- #### **使用示例** ```python from keras.models import Sequential from keras.layers import Dense, LeakyReLU model = Sequential() model.add(Dense(64, activation='relu')) # 内置激活函数 model.add(Dense(64)) model.add(LeakyReLU(alpha=0.1)) # 高级激活函数（独立层） model.add(Dense(10, activation='softmax')) model.compile( loss='categorical_crossentropy', # 损失函数 optimizer='adam', metrics=['accuracy'] ) ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值