常用激活函数（tensorflow）

最新推荐文章于 2024-04-19 20:49:34 发布
原创 最新推荐文章于 2024-04-19 20:49:34 发布 · 380 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了TensorFlow中两种常用的激活函数：softplus和tanh。softplus函数通过计算自然对数的指数加一，实现了平滑的非线性转换。而tanh函数则利用双曲正切公式，将输入映射到-1到1之间的范围，用于神经网络的规范化处理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

常用激活函数（tensorflow）

tf.nn.softplus

  • f(x)=ln(1+ex)
    在这里插入图片描述

tf.nn.tanh

  • f(z)=(ez-e-z)/(ez+e-z)
    在这里插入图片描述
TensorFlow深度学习实战（3）——深度学习中常用激活函数详解
盼小辉丶的博客
01-02 1万+
激活函数是神经网络中至关重要的一部分，它决定了神经元的输出以及神经网络模型的非线性特性。没有激活函数，神经网络就会变成一个简单的线性模型，无法处理复杂的任务。因此，激活函数的选择直接影响神经网络的表达能力和学习效果。
【使用 TensorFlow 2】02/3 使用 Lambda 层创建自定义激活函数
gongdiwudu的专栏
10-10 3365
TensorFlow 2发布已经接近2年时间，不仅继承了Keras快速上手和易于使用的特性，同时还扩展了原有Keras所不支持的分布式训练的特性。3大设计原则：简化概念，海纳百川，构建生态.这是本系列的第三部分，我们将创建激活层并在 TensorFlow 2 中训练它们。
tensorflow学习笔记——常用的激活函数
qq_40692109的博客
02-16 1993
1.sigmoid 公式： 图像： 从图中可以看到，sigmoid激活函数会将所有输入都转到0-1范围内。如此之外，它的倒数有一个常用到的性质： 即它的倒数可由自身表示。 优点：它输出映射在0-1内，单调连续，可以用来作分类，并且求导比较容易； 缺点：具有软饱和性，一旦输入过大或过小，一阶导数就变得接近于0，很容易产生梯度消失的现象。 tesorflow使用：tf.sig...
tensorflow中常用的激活函数
热门推荐
修炼之路
08-19 2万+
激活函数(activation function)运行时激活神经网络中某一部分神经元，将激活神经元的信息输入到下一层神经网络中。神经网络之所以能处理非线性问题，这归功于激活函数的非线性表达能力。激活函数需要满足数据的输入和输出都是可微的，因为在进行反向传播的时候，需要对激活函数求导。 在TensorFlow中也内置了许多的激活函数，安装好TensorFlow之后可以在tensorflow--&g...
TensorFlow2.0常用激活函数
Steven的博客
01-24 3195
激活函数是神经网络中一个十分重要的组成部分，它可以对神经元的接收信息进行非线性变换，将变换后的信息输出到下一层神经元 激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中 构造数据 import tensorflow as tf import matplotlib.pyplot as plt x = tf.linspace(-5....
Tensorflow2.0教程-常见激活函数
william_hehe的博客
11-17 917
一、前言： 针对四种常用的激活函数进行可视化。 二、代码： import tensorflow as tf import numpy as np import matplotlib.pyplot as plt # fake data x = np.linspace(-5, 5, 100) # following are popular activation functions y_re...
TensorFlow常用激活函数及其特点用法（6种）详解
NSSWTT的博客
08-17 1791
每个神经元都必须有激活函数。它们为神经元提供了模拟复杂非线性数据集所必需的非线性特性。该函数取所有输入的加权和，进而生成一个输出信号。你可以把它看作输入和输出之间的转换。使用适当的激活函数，可以将输出值限定在一个定义的范围内。如果 xi是第 j 个输入，Wj是连接第 j 个输入到神经元的权重，b 是神经元的偏置，神经元的输出（在生物学术语中，神经元的激活）由激活函数决定，并且在数学上表示如下： 这里，g 表示激活函数。激活函数的参数 ΣWjxj​+b 被称为神经元的活动。 ...
tensorflow 常用函数
hanfei410的专栏
05-15 1080
tensorflow 常用函数引言1. 基本函数1.1 tf.random_normal()函数1.2 tf.Variable函数1.3 tf.convert_to_tensor函数1.4 tf.placeholder函数1.5 tf.nn.conv2d 函数1.6 tf.nn.relu函数1.7 tf.nn.maxpool函数2. tensorflow 的维度变换2.1. Reshape2.2. tf.transpose2.3 tf.expand_dims2.4 tf.squeeze3 数据类型转换
tensorflow中自定义激活函数
bjay的专栏
04-07 3729
一、tensorflow中常用的模型定义 import tensorflow as tf model=tf.keras.Sequential([ tf.keras.layers.Dense(64, kernel_initializer='normal', activation='relu'), tf.keras.layers.Dense(1, kernel_initializer='normal', activation='relu') )] 上面这段代码定义了两层，输出为一个元素。
常用激活函数
gaotihong的博客
12-21 795
关于激活函数   常用激活函数 每个激活函数（或非线性函数）的输入都是一个数字，然后对其进行某种固定的数学操作。下面是在实践中可能遇到的几种激活函数： ———————————————————————————————————————— 左边是Sigmoid非线性函数，将实数压缩到[0,1]之间。右边是tanh函数，将实数压缩到[-1,1]。 ———————————————————
激活函数总结
光英的记忆博客
03-16 1001
Sigmoid函数 f(x)=1/1+e^-x 值（0-1）缺点 存在饱和问题 实现：tf.nn.sigmoid(x,name=None) 特征相差不大，需要更细微的分类判断 sigmoid效果要好一些 Tanh函数 双曲正切 tanh(x)=2Sigmoid(2x)-1 值（-1，1) 缺点 存在饱和问题 实现: tf.nn.t...
机器学习中的数学——激活函数（十二）：高斯误差线性单元(GELUs)
冯·诺依曼
10-06 2万+
高斯误差线性单元为Gaussian Error Linerar Units，来源于论文《Gaussian Error Linear Units (GELUs)》。在神经网络的建模过程中，模型很重要的性质就是非线性，同时为了模型泛化能力，需要加入随机正则，例如dropout(随机置一些输出为0,其实也是一种变相的随机非线性激活)，而随机正则与非线性激活是分开的两个事情， 而其实模型的输入是由非线性激活与随机正则两者共同决定的。 高斯误差线性单元正是在激活中引入了随机正则的思想，是一种对神经元输入的概率描述，直
Tensorflow 自定义高斯激活函数
qq_2918的博客
01-18 4370
Gaussian non-linear activation function tensorflow自带了几个常用的激活函数，但是最近手头的项目，激活函数用的既不是relu，也不是sigmod，而是一个很生僻的函数，高斯激活函数（Gaussian activation function）。 自定义高斯函数形式：f(x) = exp( - (x^2) / (sigma^2) ) 实验中的 si...
激活函数汇总
最新发布
qq_59815419的博客
04-19 2044
特点：Softmax 函数可视为 Sigmoid 函数的泛化形式， 其本质就是将一个 K 维的任意实数向量压缩（映射）成另一个 K 维的实数向量， 其中向量中的每个元素的取值范围都介于 [ 0 ， 1 ] [0，1][0，1] 之间(可以理解为概率)。也就是说，相比于早期的激活函数，Softplus函数和ReLU函数更加接近脑神经元的激活模型，而神经网络正是基于脑神经科学发展而来，这两个激活函数的应用促成了神经网络研究的新浪潮。和 Tanh一样，它是反对称的、零中心、可微分的，值域在-1到1之间。
【神经网络深度学习】-激活函数
TU商的博客
10-21 962
激活函数（Activation functions）对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。其主要目的是将A-NN模型中一个节点的输入信号转换成一个输出信号。该输出信号现在被用作堆叠中下一个层的输入。如果我们不运用激活函数的话，则输出信号将仅仅是一个简单的线性函数。线性函数一个一级多项式。现如今，线性方程是很容易解决的，但是它们的复杂性有限，并且从数据中学习复杂函数映射的能力更小。一个没有激活函数的神经网络将只不过是一个线性回归模型（
激活函数总结（十四）：激活函数补充(Gaussian 、GCU、ASU)
走在深度学习前沿的小宋
08-20 926
本文为前面介绍的激活函数进行了一些激活函数补充，包括：Gaussian、GCU、ASU等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：振荡激活函数在复杂周期性系统中取得了极好的效果，其中ASU效果最好、最稳定。。。。。
GELU激活函数
qq_41296039的博客
04-14 1万+
相较于 ReLU 函数，GELU 函数在负值区域又一个非零的梯度，从而避免了死亡神经元的问题。值得注意的是，GELU 的计算比较复杂，因此需要消耗更多的计算资源。GELU (Gaussian Error Linear Units) 是一种基于高斯误差函数的激活函数，相较于 ReLU 等激活函数，GELU 更加平滑，有助于提高训练过程的收敛速度和性能。GELU是一种常见的激活函数，全称为“Gaussian Error Linear Unit”, 作为2020年提出的优秀激活函数，越来越多的引起了人们的注意。
深度学习各种激活函数
Mr_wuliboy的博客
10-09 769
在神经网络中，激活函数决定来自给定输入集的节点的输出，其中非线性激活函数允许网络复制复杂的非线性行为。正如绝大多数神经网络借助某种形式的梯度下降进行优化，激活函数需要是可微分（或者至少是几乎完全可微分的）。此外，复杂的激活函数也许产生一些梯度消失或爆炸的问题。因此，神经网络倾向于部署若干个特定的激活函数（identity、sigmoid、ReLU 及其变体）。 下面是 26 个激活函数的图示及其一阶导数，图的右侧是一些与神经网络相关的属性。 1. Step 激活函数 Step 更倾向于理论而不是实
链表
weixin_38477351的博客
03-07 294
链表
深度解析：TensorFlow常用函数API详解
- `tf.nn.softmax(logits, axis=-1, name=None)`：应用softmax激活函数，将输入归一化为概率分布。 - `tf.nn.sigmoid(x, name=None)`：应用sigmoid激活函数，将输入映射到(0,1)区间。 - `tf.nn.relu(x, name=None...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值