【深度学习】激活函数：Sigmoid、sign、ReLu、tanh

最新推荐文章于 2024-04-19 20:49:34 发布

H2WO4

最新推荐文章于 2024-04-19 20:49:34 发布

阅读量1.2k

点赞数 6

文章标签：深度学习人工智能

本文链接：https://blog.youkuaiyun.com/H2WO4/article/details/132025538

版权

Sigmoid函数

$\sigma=Sigmoid(z)=\frac{1}{1+e^{-z}}$

可以将回归算法转化为分类算法：当 $\sigma$ 值大于设定阈值（如0.5）时，预测结果为1类； $\sigma$ $< 0.5$ 时，预测结果为0类

Pytorch调用：

import torch
from torch.nn import functional as F
F.sigmoid(zhat)

符号函数sign

$y=\left\{\begin{matrix} 1 & if \quad z>0\\ 0& if \quad z=0 \\ -1& if \quad z<0 \end{matrix}\right.$

Pytorch调用：

torch.sign(zhat)

ReLu

保留正数元素，将负元素清零

$\sigma=\left\{\begin{matrix} z & (z>0)\\ 0&(z\leq 0) \end{matrix}\right.$

Pytorch调用：

F.relu(zhat)

tanh

双曲正切函数，与sigmoid性质类似，能将数值压缩到 $\left (-1,1 \right )$ 区间

$\sigma=\frac{e^{2x}-1}{e^{2x}+1}$

torch.tanh(zhat)

注意sigmoid和ReLu都在torch.nn.functional模块下

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

H2WO4

关注关注

6
点赞
踩
6

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

独家连载 | 常用激活函数讲解

t5131828的专栏

01-07

2962

4.4 常用激活函数讲解神经网络的激活函数其实有很多种，在前面的章节中我们介绍过两种激活函数，sign函数和purelin函数。sign函数也称为符号函数，因为sign(x)中x＞0，函数结果为1；sign(x)中x＜0，函数结果为-1。purelin函数也称为线性函数，表达式为y=x。这两种激活函数在处理复杂非线性问题的时候都不能得到很好的结果，线性函数的分类边界也是线性的，所以不能区别非线性...

机械学习常用的激活函数（ReLU 、Sigmoid、Tanh 、Softmax、Leaky ReLU、GELU、Swish、ELU、线性激活函数）

最新发布

fansv587的博客

02-15

672

常见常用的激活函数（ReLU 、Sigmoid、Tanh 、Softmax、Leaky ReLU、GELU、Swish、ELU、线性激活函数）

1 条评论您还未登录，请先登录后发表或查看评论

好用的函数sign和decode

wingsless的专栏

01-08

671

今天遇到了一个问题，需要对比一个字段和5的大小，大于5的输出0，小于五的输出1。如果是用PLSQL编程的话可以用if/else这种逻辑进行判断，但是在SQL里可不能这么写，经过网友推荐，我组合使用了sign和decode，效果很好，代码小清新。代码如下： DECODE(SIGN(TRUNC(COL1 - COL2) - 5), 1, 0, 1) ONT

SignReLU激活函数

weixin_38190702的博客

06-25

455

SoftReLU激活函数简介

指示函数和sign函数（符号函数）

weixin_40680322的博客

09-23

3466

1. 指示函数 1A(x)={1,x ∈ A0,x ∉ A1_A(x)=\begin{cases} 1, & \text{x $\in$ A} \\ 0, & \text{x $\notin$ A} \end{cases}1A(x)={1,0,x ∈ Ax ∈/ A 1A:X→{0,1}1_A:X\rightarrow \{0,1\}1A:X→{0,1}; 2. Sigmoid函数 y=11+e−x∈(

激活函数

The Thinker

08-01

440

课上一个偶然的提问让我觉得有必要重新思考一下激活函数，现以Rethinking Activation Function为题写下这篇博客。 Rethinking Activation Function 1. 什么是激活函数？ 2. 为什么需要激活函数？ 3. 激活函数类型？ ...

LSTM为什么用sigmoid，tanh不用relu？

DecafTea的博客

01-25

4715

https://cloud.tencent.com/developer/article/1498959 1. why is an activation function not being zero-centred an disadvantage? Say there are two parameters w1 and w2. If the gradients of two dimensions are always of the same sign, it means we can only move r

深度学习日常发问（三）：激活函数性能对比

明曦君的小家

04-03

3089

写在开头：今天主要分享一下对不同激活函数性能的理解，无大量案例支撑无专业性，仅当复习知识点。内容介绍在本节中我们会对常见的激活函数进行介绍，并介绍其优缺点，最后通过代码的实现来完成对比。 Q1：什么是激活函数？为什么需要激活函数？ Q2：激活函数有哪些？ Q3：这些激活函数之间图像有多大的差异？ Q4：那么怎么来检验各个激活函数之间的性能呢？开始分享 Q4：那么怎么来检验各个激活函数之间...

sigmoid、 tanh、 tanh、 tanh比较

YJ语

05-27

1327

由上篇文章，我们知道逻辑回归是怎么过渡到神经网络的了总的来说就一句话——多个逻辑回归模型，前后堆积形成了神经网络！我引用吴承恩中的一张图，稍微的回顾以下这个过程对于这张图，它的过程是这样的：输入1个样本（含3个特征），分别到4个逻辑回归中（中间那一列的4个圈圈）对于样本的输入，逻辑回归模型分别通过y = wx + b后将y值通过Sigmoid函数映射到01区间内，那么这里就有4个输出的01概率对于上面输出的4个概率再输入到最后一个逻辑回归模型中，再通过y = wx + b后将y值通过Sigm

2.深度学习入门：感知机、神经网络和激活函数——探索人工智能的核心技术

weixin_63740705的博客

06-29

4057

但是，在某些情况下，阶跃函数也是有用的，例如在二元分类问题中，可以将阶跃函数作为输出层的激活函数，将输出值限制在0和1之间。这些非线性函数在神经网络中都有广泛的应用，例如Sigmoid函数和Tanh函数常用作激活函数，ReLU函数常用作卷积神经网络中的激活函数，Softmax函数常用于多分类问题中的输出层激活函数。上述代码中，step_function函数接受一个向量或矩阵形式的输入x，将其与0进行比较，生成一个布尔型的数组y，然后将y转换为整型数组，即可得到阶跃函数的输出。

激活函数汇总

qq_59815419的博客

04-19

1894

特点：Softmax 函数可视为 Sigmoid 函数的泛化形式，其本质就是将一个 K 维的任意实数向量压缩（映射）成另一个 K 维的实数向量，其中向量中的每个元素的取值范围都介于 [ 0 ， 1 ] [0，1][0，1] 之间(可以理解为概率)。也就是说，相比于早期的激活函数，Softplus函数和ReLU函数更加接近脑神经元的激活模型，而神经网络正是基于脑神经科学发展而来，这两个激活函数的应用促成了神经网络研究的新浪潮。和 Tanh一样，它是反对称的、零中心、可微分的，值域在-1到1之间。

常见的激活函数

梦沁清风

09-21

727

一.激活函数概览基本上,入门深度学习的第一件事情就是了解”神经元”的构造,激活函数算是最基本的一个”部件”了吧.那激活函数到底有什么用呢?为什么需要激活函数?激活函数的定义是什么呢? 下面这篇论文提供了激活函数的定义以及常见的”饱和”的定义,以及对于激活函数的一些思考.大家可以参考一下. Noisy Activation Functions 引用这篇论文的定义:激活函数就是映

有趣的数学 sign是什么函数

学以致用知行合一

11-06

6223

在数学中，函数sign指的是符号函数，它的定义如下：对于任意实数x，若x>0，则sign(x)=1；若x=0，则sign(x)=0；若x

激活函数 sigmoid、tanh、relu

cpongo5

01-21

998

激活函数（activation functions）的目标是，将神经网络非线性化。激活函数是连续的（continuous），且可导的（differential）。连续的：当输入值发生较小的改变时，输出值也发生较小的改变；可导的：在定义域中，每一处都是存在导数； 激活函数 常见的激活函数：sigmoid，tanh，relu。 sigmo...

机器学习/深度学习/NLP-1-常用激活函数

王小二的博客

08-10

2356

机器学习-1-常用激活函数sign和sigmoidsignsigmoidsoftmaxtanhRelu参考文献 sign和sigmoid sign sign(x)或者Sign(x)叫做符号函数，在数学和计算机运算中，其功能是取某个数的符号（正或负）：图解： sigmoid sigmoid函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。优点：平滑、易于求导。缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反

Pytorch ----逻辑斯蒂回归（Sigmoid函数） -----分类问题模型,~~学习笔记

深度不学习！！的博客

10-31

4202

说是回归，实际是在讨论分类问题。如下的分类图，里面含有0-9 十个数字。这时候就不能再使用前面几节学过的线性回归模型(y = w * x + b)了，因为图片中的数字并没有对应到实际抽象的数字，我们只做分类，图片类别之间是没有大小的。也就是我们要算出来根据输入值，算出其属于某一部分的概率。例如之前在线性回归中使用的数据模型: x表示学习几个小时，y表示考试中可以得到几分。而现在的数据模型改为: x依旧是学习几个小时，y变为是否能够通过考试，0不通过，1通过。此时为明显的分类问题，此处叫二

神经网络之初入神经网络

zhaodeming000的博客

06-05

579

单层感知器包含：输入节点，输出节点，权向量，偏置因子，激活函数；例：感知器学习规则 y=f(∑i=1nxi⋅wi)y = f(\sum_{i=1}^{n} x_i \cdot w_i)y=f(∑i=1nxi⋅wi) 或者y=f(∑i=1nxi⋅wi+b)y = f(\sum_{i=1}^{n} x_i \cdot w_i + b)y=f(∑i=1nxi⋅wi+b) yyy是输出...

激活函数（Relu，sigmoid，Tanh，softmax）详解

m0_53675977的博客

12-10

2万+

总结了常用的激活函数，如何在工程实践中合理选择激活函数。

Sigmoid函数