Keras 激活函数 Activation

最新推荐文章于 2025-10-19 01:18:35 发布
转载 最新推荐文章于 2025-10-19 01:18:35 发布 · 1.1w 阅读 · 1

本文详细介绍了多种常见的激活函数，包括Softmax、ELU(可伸缩的指数线性单元)、Softplus、Softsign、ReLU、Tanh、Sigmoid及其变种Hard Sigmoid等。这些函数在神经网络中起到关键作用，能够引入非线性特性，从而提升模型的表现力。
部署运行你感兴趣的模型镜像

  • softmax：对输入数据的最后一维进行softmax，输入数据应形如(nb_samples, nb_timesteps, nb_dims)或(nb_samples,nb_dims)

  • elu

  • selu: 可伸缩的指数线性单元（Scaled Exponential Linear Unit），参考Self-Normalizing Neural Networks

  • softplus

  • softsign

  • relu

  • tanh

  • sigmoid

    Sigmoid函数由下列公式定义 
    Sigmoid 曲线

  • hard_sigmoid

  • linear 

您可能感兴趣的与本文相关的镜像

AutoGPT

AutoGPT

AI应用

AutoGPT于2023年3月30日由游戏公司Significant Gravitas Ltd.的创始人Toran Bruce Richards发布,AutoGPT是一个AI agent（智能体），也是开源的应用程序，结合了GPT-4和GPT-3.5技术，给定自然语言的目标，它将尝试通过将其分解成子任务，并在自动循环中使用互联网和其他工具来实现这一目标

Keras深度学习实战——深度学习中常用激活函数和损失函数详解
走向CTO的路上...
05-22 1536
本教程将介绍 Keras 深度学习框架中常用的激活函数和损失函数。激活函数用于引入非线性特性，使得神经网络能够更好地学习和模拟复杂的输入输出关系；损失函数用于度量模型预测结果与真实值之间的差异，选择合适的损失函数对于模型的训练至关重要。Keras 深度学习框架提供了简单易用的工具来选择和使用激活函数和损失函数，这使得深度学习技术可以更加广泛地应用。
激活函数 (Activation Function)
AI天才研究院
06-14 1104
1. 背景介绍 激活函数（Activation Function）在人工神经网络中扮演着重要的角色。它决定了神经元在接收到输入后是否会被激活，以及激活的程度。激活函数的选择对于神经网络的性能和表达能力有着深远的影响。在这篇文章中，我们将深入探讨激活函数的原理、常见的激活函数以及它们在不同应用场景中的应用。
Keras学习笔记8——keras.layers.Activation
winter_python的博客
09-21 6955
目录激活函数的用法预定义激活函数softmaxeluselusoftplussoftsignrelutanhsigmoidhard_sigmoidexponentiallinear高级激活函数 来源 激活函数的用法 激活函数可以通过设置单独的激活层实现，也可以在构造层对象时通过传递 activation 参数实现： from keras.layers import Activation, Dense model.add(Dense(64)) model.add(Activation('tanh')) #
Tensorflow keras 激活函数
weixin_42272768的博客
01-05 3637
激活函数的作用 激活函数是神经网络的重要组成部分。通过激活函数，可以让神经网络很好的解决非线性问题。在最初的阶段，使用的激活函数是sigmoid函数。但是此激活函数存在严重的梯度消失问题，在近期经常使用的是relu激活函数，而且出现了很多的变种relu函数。本文主要介绍tensorflow中keras部分的激活函数。 keras中的激活函数 keras中定义了多种的激活函数，几乎涵盖了所有的激活函数： 激活函数 描述 relu relu激活函数（修正线性单元） elu elu激活函数
GELU 激活函数详细介绍
最新发布
彬彬侠的博客
10-19 1600
GELU（Gaussian Error Linear Unit，高斯误差线性单元）是由Dan Hendrycks和Kevin Gimpel于2016年提出的一种非线性激活函数，广泛用于Transformer模型（如BERT、GPT）。其公式为GELU(x) = x · Φ(x)，其中Φ(x)是标准正态分布的累积分布函数（CDF）。实际实现常用erf近似：GELU(x) ≈ 0.5 x (1 + erf(x/√2))，或sigmoid快速版x · σ(1.702x)，确保平滑性和计算效率。 图形上，GE
Keras深度学习之分层概念
bgbgssh1314的博客
07-21 1180
3.1 多层感知层简介 3.1.1 链接输入、输出的Dense层 Dense(8,input_dim=4,activation='relu') 第一个参数：输出神经元的个数 input_dim：输入神经元的个数 activation：激活函数 linear：默认值，输入神经元与权重计算得到的结果值 relu：主要用于隐藏层。rectifier函数 sigmoid：sigmoid函数，主要用于二元分类问题的输出层中 sof
深度学习Keras框架笔记之Activation类使用
03-17 1736
使用 keras.layers.core.Activation(activation) Apply an activation function tothe input.（貌似是把激活函数应用到输入数据的一种层结构） inputshape: 任意。当把这层作为某个模型的第一层时，需要用到该参数（元组，不包含样本轴）。 out...
keras课程2-激活函数
weixin_43178406的博客
06-04 571
1.
Keras深度学习框架基础第二讲：层接口(layers API)“层激活函数”
MUKAMO的博客
05-29 1421
激活函数在神经网络中起着至关重要的作用，它们引入非线性，使得网络能够学习复杂的数据表示。常见的激活函数如ReLU、Sigmoid、Tanh各有特点，而像Swish、Mish和GELU等则是近年来提出的改进版本。Log-Softmax常用于多分类问题的输出层，将原始分数转换为概率分布。自定义激活函数可以通过定义可调用的对象实现，允许研究人员根据任务需求灵活设计。选择适当的激活函数对于提高网络性能至关重要。
【2】Keras之激活函数
Bing's Blog
11-06 5476
喜欢看官宣的，直接去这里：https://keras.io/activations/ 本文内核也是来自这个地方。 Keras中如何使用激活函数 有两种使用方式： Activation层 其它层的activation参数 通过添加激活层使用： from keras.layers import Activation, Dense model.add(Dense(64)) model.add(Act...
Keras常用的激活函数详细介绍
u013558123的博客
01-04 966
keras 激活函数
Keras激活函数Activations
weixin_43644231的博客
03-01 1467
激活函数可以通过设置单独的激活层实现，也可以在构造层对象时通过传递activation参数实现。 model.add(Dense(64, activation='tanh')) 预定义激活函数： softmax：对输入数据的最后一维进行softmax，输入数据应形如(nb_samples, nb_timesteps, nb_dims)或(nb_samples, nb_dims) elu se...
keras_9_激活函数 Activations
weixin_30379531的博客
02-14 571
1. 激活函数的使用 激活函数可以通过设置单独的激活层实现，也可以在构造层对象时通过传递activation参数实现 from keras.layers import Activation, Dense model.add(Dense(64)) model.add(Activation('tanh')) # 等价于 model.add(Dense(64, activation='tanh'))...
神经网络激活函数列表大全及keras中的激活函数定义
老猿Python
10-06 2171
在机器学习中，激活函数是神经网络中的一种函数，用于在神经网络的每个神经元中引入非线性。没有激活函数，神经网络就无法学习复杂的模式，因为线性变换的组合仍然是线性的。在Keras中，激活函数可以通过设置单独的 Activation 层实现，也可以在构造层对象时通过传递 activation 参数实现。本文介绍了11个激活函数，包括线性函数linear、线性指数激活函数elu、整流线性单元relu、可伸缩指数线性单元SELU、softmax函数、softplus函数、softsign函数、sigmoid函数、ha
详解Keras3.0 Layer API: Activation functions(激活函数)
lymake的博客
12-25 2522
【代码】详解Keras3.0 Layer API: Activation functions(激活函数)
keras模块学习之-激活函数（activations）--笔记
03-27 568
本笔记由博客园-圆柱模板博主整理笔记发布，转载需注明，谢谢合作! 每一个神经网络层都需要一个激活函数，例如一下样例代码： from keras.layers.core import Activation, Dense model.add(Dense(64)) model.add(Activation('tanh')) 或把上面两...
keras中激活函数的使用
zfjBIT的专栏
06-13 7568
两种方式： 一、通过keras封装的网络层中的activation参数指定： 例如，下面的卷积层中的指定的激活函数为ReLU函数： from keras.model import Sequential from keras.layers import Conv2D from keras.layers import MaxPooling2D model = Sequential() mod...
Keras各激活函数区别
qq_45074963的博客
04-18 4667
简介： 激活函数是人工神经网络的一个极其重要的特征。它决定一个神经元是否应该被激活，激活代表神经元接收的信息与给定的信息有关。 激活函数实际上是将输入信息做了非线性变换传给下一层神经元，在神经网络中，激活函数基本是必不可少的一部分，因为他增加了我们的模型的复杂性，每层神经元都有一个权重向量weight和偏置向量bias,如果没有了激活函数，神经网络实质上就成了一个线性回归网络，每一次都只是在上一层...
tf.keras.activations.sigmoid 激活函数 示例
weixin_44493841的博客
11-23 1704
import tensorflow as tf Sigmoid 等价于 2 元素 Softmax，其中第二个元素假定为零。sigmoid 函数始终返回一个介于 0 和 1 之间的值。‎， 用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。在特征相差比较复杂或是相差不是特别大时效果比较好。 a = tf.constant([-20, -1.0, 0.0, 1.0, 20], dtype = tf.float32) b = tf.keras.activat
python 深度学习keras 激活函数和损失函数有哪些
06-15
<think>我们正在处理用户关于Keras框架中激活函数和损失函数的查询。根据引用，我们可以整理相关信息。首先，激活函数部分：引用[1]提供了11个激活函数：线性函数(linear)、线性指数激活函数(elu)、整流线性单元(relu)、可伸缩指数线性单元(selu)、softmax函数、softplus函数、softsign函数、sigmoid函数、hard_sigmoid函数、自然数指数激活函数(exponential)、双曲正切激活函数(tanh)。引用[2]提到了一种高级激活函数：LeakyReLU（LeakyRectifiedLinearUnit），它是ReLU的一种改进。注意：Keras中除了内置的激活函数（通过字符串标识符使用），还有一些高级激活函数（如LeakyReLU）需要作为单独的层使用（例如`keras.layers.LeakyReLU`）。其次，损失函数部分：引用[3]提到了损失函数返回值的格式，但没有列出具体的损失函数名称。引用[4]介绍了softmax函数，它通常用于多分类问题的输出层，但softmax本身不是损失函数，而是激活函数。与softmax配合使用的损失函数通常是分类交叉熵（categoricalcrossentropy）。我们需要结合Keras官方文档中常见的损失函数来列举。常见的损失函数包括：-均方误差（mean_squared_error，MSE）-平均绝对误差（mean_absolute_error，MAE）-平均绝对百分比误差（mean_absolute_percentage_error，MAPE）-二元交叉熵（binary_crossentropy）用于二分类-分类交叉熵（categorical_crossentropy）用于多分类-稀疏分类交叉熵（sparse_categorical_crossentropy）用于多分类且标签为整数的情况-铰链损失（hinge）-平方铰链损失（squared_hinge）-KL散度（kullback_leibler_divergence）-余弦相似度（cosine_similarity）-泊松损失（poisson）-等等由于引用中没有完整列出损失函数，我们需要根据Keras的常见损失函数进行补充。另外，引用[5]提到了GPT2模型在KerasNLP中的实现，但与我们当前问题关系不大。因此，我们将整理如下：激活函数：1.linear2.elu3.relu4.selu5.softmax6.softplus7.softsign8.sigmoid9.hard_sigmoid10.exponential11.tanh12.LeakyReLU(需要作为层使用，不能直接通过字符串使用)此外，Keras中还有一些其他激活函数，比如：-swish(在Keras中可以通过字符串'swish'使用，但注意版本要求，Keras2.2.4+或TensorFlow2.4+支持)-gelu(高斯误差线性单元，可以通过字符串'gelu'使用，同样需要较新版本)但引用中未提及，我们根据用户要求“所有”激活函数，应尽可能列举全面。然而，由于引用有限，我们主要基于引用和常见函数列举。损失函数（常见）：1.mean_squared_error或mse2.mean_absolute_error或mae3.mean_absolute_percentage_error或mape4.mean_squared_logarithmic_error或msle5.binary_crossentropy6.categorical_crossentropy7.sparse_categorical_crossentropy8.kullback_leibler_divergence或kld9.poisson10.cosine_similarity11.hinge12.squared_hinge13.huber_loss(需要TensorFlow2.4以上)14.log_cosh注意：Keras允许通过字符串标识符（如'mse'）或函数对象（如tf.keras.losses.mean_squared_error）来指定损失函数。由于Keras的损失函数可能随着版本更新而增加，我们列举的是常用和核心的损失函数。根据引用[3]，损失函数的返回值格式取决于是否设置return_dict和是否有度量指标。在回答时，我们将分为激活函数和损失函数两部分，并分别列举。同时，我们将按照引用[1][2]的方式给出激活函数的说明，对于损失函数则给出简要说明。注意：用户要求生成相关问题，所以最后需要添加相关问题。由于引用中关于损失函数的信息较少，我们将主要依赖常见知识进行列举，并注明来源为Keras官方文档（但引用中未提供官方文档的引用，因此我们只根据已有的引用信息进行回答，并补充常见知识）。我们按照以下结构回答：1.激活函数列表（包括基本激活函数和高级激活函数）2.损失函数列表3.相关问题注意：高级激活函数（如LeakyReLU）在Keras中通常作为层来使用，而不是作为字符串标识符传递给激活参数。因此，我们将它们单独列出。开始回答：</think>### Keras 中的激活函数和损失函数列表 #### **激活函数** 在 Keras 中，激活函数用于为神经网络引入非线性，使其能够学习复杂模式。以下是核心激活函数列表（可通过 `activation` 参数或 `Activation` 层使用）： 1. **线性函数** - `linear`：恒等函数 $f(x) = x$ - 适用场景：回归输出层 2. **整流线性单元（ReLU）及变体** - `relu`：$f(x) = \max(0, x)$[^1] - `elu`（指数线性单元）： $$ f(x) = \begin{cases} x & \text{if } x \geq 0 \\ \alpha(e^x - 1) & \text{if } x < 0 \end{cases} $$ - `selu`（可伸缩指数线性单元）： $$ f(x) = \lambda \begin{cases} x & \text{if } x \geq 0 \\ \alpha e^x - \alpha & \text{if } x < 0 \end{cases} $$ - `LeakyReLU`（需作为独立层使用）： $$ f(x) = \begin{cases} x & \text{if } x \geq 0 \\ \beta x & \text{if } x < 0 \end{cases} $$ [^2] 3. **Sigmoid 族** - `sigmoid`：$f(x) = \frac{1}{1 + e^{-x}}$ - `hard_sigmoid`：分段线性近似，计算更快 4. **Softmax 函数** - `softmax`：$S_i = \frac{e^{V_i}}{\sum_j e^{V_j}}$[^4] - 适用场景：多分类输出层 5. **其他函数** - `tanh`（双曲正切）：$f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$ - `softplus`：$f(x) = \ln(1 + e^x)$ - `softsign`：$f(x) = \frac{x}{|x| + 1}$ - `exponential`：$f(x) = e^x$ > **注意**：高级激活函数（如 `LeakyReLU`、`PReLU`）需通过 `keras.layers.LeakyReLU()` 作为独立层添加[^2]。 --- #### **损失函数** 损失函数用于量化模型预测与真实值的差距，可通过 `loss` 参数指定。常用损失函数包括： 1. **回归任务** - `mean_squared_error`（MSE）：$\frac{1}{n}\sum_{i=1}^n(y_i - \hat{y}_i)^2$ - `mean_absolute_error`（MAE）：$\frac{1}{n}\sum_{i=1}^n|y_i - \hat{y}_i|$ - `huber_loss`：结合 MSE 和 MAE 的鲁棒损失 - `log_cosh`：$\log(\cosh(\hat{y} - y))$，近似 MSE 但更平滑 2. **分类任务** - `binary_crossentropy`：二分类交叉熵 - `categorical_crossentropy`：多分类交叉熵（需 one-hot 编码） - `sparse_categorical_crossentropy`：多分类（整数标签） - `kullback_leibler_divergence`（KL 散度）：概率分布差异度量 3. **其他任务** - `hinge`：支持向量机损失 - `cosine_similarity`：向量相似度优化 - `poisson`：泊松分布计数数据 > **返回值说明**：损失函数返回值类型由 `return_dict` 参数控制（标量、列表或字典）[^3]。 --- #### **使用示例** ```python from keras.models import Sequential from keras.layers import Dense, LeakyReLU model = Sequential() model.add(Dense(64, activation='relu')) # 内置激活函数 model.add(Dense(64)) model.add(LeakyReLU(alpha=0.1)) # 高级激活函数（独立层） model.add(Dense(10, activation='softmax')) model.compile( loss='categorical_crossentropy', # 损失函数 optimizer='adam', metrics=['accuracy'] ) ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值