激活函数总结（四十二）：激活函数补充(SSFG、Gumbel Cross Entropy)

最新推荐文章于 2025-06-11 16:59:21 发布
最新推荐文章于 2025-06-11 16:59:21 发布
阅读量360 收藏 1
点赞数 1
分类专栏： 深度学习 文章标签： 深度学习 人工智能 机器学习 python 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36758270/article/details/132863669
版权
本文介绍了两种不常见的激活函数：SSFG和Gumbel Cross Entropy。SSFG用于正则化图卷积网络，通过随机缩放特征和梯度提高性能。Gumbel Cross Entropy是针对长尾分布问题的解决方案，作为Sigmoid或Softmax的替代，提供不对称的梯度分布。这两种激活函数在特定任务中展现出了优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

激活函数总结（四十二）：激活函数补充

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identi

了解本专栏 订阅专栏 解锁全文 超级会员免费看
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 9040
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
Masked Gradient-Based Causal Structure Learning
羊城迷鹿的博客
09-14 815
研究问题 将传统的SEM方程推广到增广形式，并从生成的模拟数据中学习因果图 背景动机 随机控制变量实验可以有效地发现因果结构，但在实际中往往不可行，因此现有方法一般专注于从数据中学习因果结构 基于约束的方法首先学习无向图，然后根据条件概率准则判断出边的方向，这种方法可以识别出因果图的马尔科夫等价类，但是对无向图的精度有较高的要求；基于分数的方法通过预定义的分数函数评估因果图的质量，然后搜索具有最优分数的图，一般可以看成是一个组合优化问题 通过将无环约束转换为一个光滑的表征，基于分数的组合优化问题可以转换为
赛尔实验室新作：如何使用选择机制提升自注意力网络能力
weixin_41089007的博客
08-29 1626
给大家介绍一篇今天刚看到的“小巧精致”的paper，论文的核心思想就是在自注意力阶段加入了选择机制，使得自注意力更加集中，可以作为通用手段用于各种自注意力的模型中提升效果，值得一看。 paper: https://www.aclweb.org/anthology/2020.acl-main.269.pdf code:https://github.com/xwgeng/SSAN(2020-08-29日，还未放出） 原文地址：https://mp.weixin.qq.com/s/lHGe_sQsxfV..
连续型和离散型随机变量（基于Gumbel Softmax）的重参数化
上帝是个娘们的博客
11-01 3878
本文是阅读苏剑林大佬的博客漫谈重参数：从正态分布到Gumbel Softmax之后的记录，算是自己的阅读笔记吧。 在苏大佬的那篇博客中，分别针对连续型和离散型随机变量讲解了如何进行重参数化，但是自己不是特别理解离散型随机变量的重参数化，便记录在此。 什么是连续型和离散型随机变量？ 这里没有各种形式化的定义，只是根据自己的理解通俗的来讲解二者的区别。 可以先告诉大家，我们目前经常用到的连续型随机变量...
深入理解 PyTorch 激活函数：从基础到高效实用技巧（3）
CDBmax的博客
01-16 1954
在数学上，这相当于取 Sigmoid 函数的输出并对其应用自然对数。对数 Sigmoid 函数平滑地将每个元素映射到负无穷大到零的区间，提供了一种平滑的方式来处理接近于0和1的极端值。如果，则保持x不变。如果，则将x设为 0。这种方法通过硬阈值将输入张量中绝对值较小的元素设置为零，而保持其它元素不变。这个公式表示每个元素的值减去其双曲正切值。函数的输出是输入值和其双曲正切的差值，这种设计在输入值较小（接近零）时，输出接近零，而在输入值较大时，输出趋于饱和。
激活函数总结（四十七）：激活函数补充(Adaptive Spline Activation Function、Adversarial Soft Advantage Fitting)
走在深度学习前沿的小宋
09-28 520
本文为前面介绍的激活函数进行了一些激活函数补充，包括：Adaptive Spline Activation Function、Adversarial Soft Advantage Fitting等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：Adaptive Spline Activation Function提出的时间过于久远，现在已几乎不再使用；Adversarial Soft Advantage Fitting具有很好的效果，但是使用场景具有局限性，使用的时候需要注意。。。。
激活函数总结（四十五）：激活函数补充(Smooth Step、LinComb)
走在深度学习前沿的小宋
09-27 473
本文为前面介绍的激活函数进行了一些激活函数补充，包括：Smooth Step、LinComb等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：Smooth Step可能会在特殊领域进行简单应用，但是不会很常见。。。而LinComb激活函数其有效性有待进一步验证，这里仅做简单了解。。。
激活函数总结（四十六）：激活函数补充(Nipuna、StarReLU)
走在深度学习前沿的小宋
09-28 525
本文为前面介绍的激活函数进行了一些激活函数补充，包括：Nipuna、StarReLU等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：Nipuna具有一定的效果，但是不会很常见。。。而StarReLU激活函数可以在深度学习领域广泛使用，具有很好的效果，有需要的小伙伴可以尝试使用，，，
卑微且强大的Gumbel分布
你礼貌吗
03-23 6274
GAN从诞生开始，广泛应用于计算机视觉领域，并取得了巨大地成功，相比而言，GAN在NLP领域的应用还是相对较少，这是因为GAN对离散型数据序列的处理显得无能为力，从离散分布中采样的数据时不可导的，在使用梯度下降算法时，无法正常更新模型中参数，Gumbel-softmax分布成功地使GAN摆脱了这个困境，为GAN在NLP领域地发展奠定了基础。文本数据是离散数据，可以使用one-hot编码来进行表示，可对softmax函数的输出（其输出接近于one-hot编码）进行采样，选取最大概率对应的词作为生成词，但是，这
3D激光扫描仪设计及数据处理
10-15
利用2D激光雷达配合云台装置，设计了一种3D激光扫描仪作为三维数据获取装置。根据扫描仪的硬件特性和传输特性，进行PC端的扫描控制系统以及数据处理系统的设计。扫描控制系统实现了对扫描范围以及扫描精度的控制和设定，数据处理系统针对采集到的原始数据，经过坐标的映射将相对坐标转换到全局坐标，并进行点云滤波，利用最小二乘进行曲面光滑，最终进行三角网格重建。经过多次实验结果证明，该系统可以对一般几何复杂度的三维场景进行较好的重建。
深度学习中的不可导操作(次梯度和重参数化).
weixin_45519842的博客
01-30 1731
深度学习中的不可导操作(次梯度和重参数化). 主要包括两大类 次梯度 重参数技巧 VAE中对高斯分布的重参数 离散分布的采样Gumbel-softmax Gumbel-Softmax Trick 证明 为什么需要gumbel-softmax Ref 知乎专栏对公式支持较好, 见 https://zhuanlan.zhihu.com/p/97465608 个人公众号 图与推荐 次...
与sigmoid函数对应的softmax函数的应用
Jacoob1024的博客
04-02 929
        softmax函数的本质就是将一个K维的任意实数向量压缩（映射）成另一个K维的实数向量，其中向量中的每个元素取值都介于（0，1）之间。softmax函数形式如下：其中j=1,2,...,Ksoftmax函数经常用在神经网络的最后一层，作为输出层，进行多分类。此外，softmax在增强学习领域内，softmax经常被用作将某个值转化为激活概率，这类情况下，softmax的公式如下：其...
带你认识神奇的Gumbel trick
热门推荐
Jie Qiao的专栏
06-26 1万+
The Gumbel soft-max 这是一种重参数化的trick，通过加一个恒定的噪声从而实现采样。如上图例子，首先有logα1log⁡α1\log \alpha_1 然后加上一个gumbel noise G1，最后取最大值，就是我们要的样本。这个过程可以形式化为，设X是离散随机分布P(X=k)∝αkP(X=k)∝αkP(X=k)\propto \alpha_k , 设{Gk}k≤K...
【工大笔记】ACL20 如何使用选择机制提升自注意力网路能力？
zenRRan的博客
08-27 491
论文名称：How Does Selective Mechanism Improve Self-Attention Networks？论文作者：耿昕伟，王龙跃，王星，秦兵，刘挺，涂兆鹏原创...
Gumbel-Softmax 对离散变量再参数化
bbbeoy的专栏
09-30 398
https://zhuanlan.zhihu.com/p/50065712 https://zhuanlan.zhihu.com/p/35218887 https://www.cnblogs.com/initial-h/p/9468974.html https://blog.youkuaiyun.com/weixin_40255337/article/details/83303702
sigmoid函数_从【为什么要用sigmoid函数】到真的懂【逻辑回归】
weixin_39547392的博客
12-08 1595
1.逻辑回归是广义线性回归(GLM)的一种特殊形式2.GLM有三个要素构成：响应变量服从指数族分布，系统分量是预测变量x的线性模型，通过连接函数联系前两者2.逻辑回归建立在0-1分布上，而0-1分布是指数族分布一员3.由最大熵原理可以推导出指数族分布4.逻辑回归假设函数值域是[0,1]能代表概率是因为指数族分布的对数配分函数的一阶导(是充分统计量的期望)刚好与0-1分布均值为h的事实相吻...
从概率密度函数角度理解Sigmoid与SoftMax函数
Planes_Walker的博客
04-15 2016
概率密度函数 随机变量： 随机变量是取值有多种可能并且取每个值都有一个概率的变量。分为离散型与连续型。 离散型随机变量： 取值为有限个或者无限可列个（无限可列是指可以对变量进行编号，整数集是典型的无限可列）。 描述离散型随机变量的概率分布的工具是概率分布表，它由随机变量取每个值的概率p(x = xi )= pi依次排列组成。它满足： 所以在某些情况下，可以假定一个分布，...
RNN和CNN使用场景区别
mayaohao的博客
06-06 1046
RNN（循环神经网络）和 CNN（卷积神经网络）是深度学习中两种核心架构，它们的使用场景主要取决于数据结构和任务需求。
机器学习与深度学习19-线性代数02
最新发布
beijieweiyu的博客
06-11 256
协方差矩阵的特征值和特征向量提供了关于数据结构和特征重要性的有用信息，在 PCA 中，我们将协方差矩阵的特征向量作为新的基向量，将数据投影到这些基向量上，构成新的特征空间。这些梯度可以用于更新权重矩阵，以最小化损失函数，并不断优化神经网络的性能，通过矩阵运算和逐元素操作，神经网络可以高效地进行前向传播和反向传播过程，实现输入数据的转换和网络参数的学习。矩阵的奇异值分解（Singular Value Decomposition，SVD）是一种重要的矩阵分解技术，它将一个矩阵分解为三个矩阵的乘积。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sjx_alo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值