大模型常用激活函数

最新推荐文章于 2025-09-03 11:17:49 发布
最新推荐文章于 2025-09-03 11:17:49 发布
阅读量181 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大模型笔记 文章标签： 大模型 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/comli_cn/article/details/145160168

1.介绍一下 FFN 块 计算公式？

FFN（Feed-Forward Network）块是Transformer模型中的一个重要组成部分，接受自注意力子层的输出作为输入，并通过一个带有 Relu 激活函数的两层全连接网络对输入进行更加复杂的非线性变换。实验证明，这一非线性变换会对模型最终的性能产生十分重要的影响。

FFN由两个全连接层（即前馈神经网络）和一个激活函数组成。下面是FFN块的计算公式：

FFN⁡(x)=Relu⁡(xW1+b1)W2+b2 \operatorname{FFN}(\boldsymbol{x})=\operatorname{Relu}\left(\boldsymbol{x} \boldsymbol{W}_{1}+\boldsymbol{b}_{1}\right) \boldsymbol{W}_{2}+\boldsymbol{b}_{2} FFN(

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Keras深度学习实战——深度学习中常用激活函数和损失函数详解
走向CTO的路上...
05-22 1569
本教程将介绍 Keras 深度学习框架中常用的激活函数和损失函数。激活函数用于引入非线性特性，使得神经网络能够更好地学习和模拟复杂的输入输出关系；损失函数用于度量模型预测结果与真实值之间的差异，选择合适的损失函数对于模型的训练至关重要。Keras 深度学习框架提供了简单易用的工具来选择和使用激活函数和损失函数，这使得深度学习技术可以更加广泛地应用。
从零开始大模型开发与微调：Softmax激活函数
AI架构师小马
12-27 1153
大模型开发, 微调, Softmax激活函数, 激活函数, 神经网络, 概率分布, 分类任务 1. 背景介绍 近年来，深度学习在计算机视觉、自然语言处理等领域取得了突破性进展，其核心驱动力是大型语言模型（LLM）的快速发展。这些模型拥有数十亿甚至数千亿的参数，能够处理海量数据，学习复
[从0开始AIGC][Transformer相关]：Transformer中的激活函数：Relu、GELU、GLU、Swish
Bin_Dut的博客
04-02 5785
FFN（Feed-Forward Network）块是Transformer模型中的一个重要组成部分，接受自注意力子层的输出作为输入，并通过一个带有 Relu 激活函数的两层全连接网络对输入进行更加复杂的非线性变换。在公式中，首先将输入向量 x 通过一个全连接层（线性变换）得到一个与 x 维度相同的向量，然后将该向量通过Sigmoid函数进行激活。在公式中，Swish函数首先对输入向量 x 进行一个非线性变换，然后通过Sigmoid函数进行激活，并将该激活结果与输入向量 x 逐元素相乘，得到最终的输出值。
激活函数：Sigmoid，Tanh，Softmax，Swish，Relu系列，GLU+GTU
clover_my的博客
06-03 9201
激活函数：Sigmoid，Tanh，Softmax，Swish，Relu系列，GLU+GTU 激活函数又称“非线性映射函数”，是深度卷积神经网络中不可或缺的模块。可以说，深度网络模型强大的表示能力大部分便是由激活函数的非线性单元带来的。激活函数是网络中非线性的来源，去除了该部分之后网络就只剩下线性运算部分，而且线性运算的组合叠加也是线性的，最后得到的结果模型等价于单层的线性模型。为了能够适用于复...
GLU, sparsemax, GELU激活函数
rosefun96的博客
08-06 1万+
2. sparsemax Softmax： softmax缺点：每个向量位置都有值。 文章From Softmax to Sparsemax:A Sparse Model of Attention and Multi-Label Classification 提出了能够输出稀疏概率的Sparsemax。 这里把输入 z 和某个分布 p 的欧式距离最小化。 一种具体的实现是， 参考： 论文； ...
激活函数小结：ReLU、ELU、Swish、GELU等
beingstrong的博客
10-14 1万+
激活函数Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、ELU、SoftPlus、Maxout、Mish、Swish、GELU、SwiGLU、GEGLU 总结
优雅谈大模型9：大模型的激活函数
鲁班模锤
05-21 3077
实验证明“大激活”这种现象在各种LLMs中广泛存在。这表明它不限于特定模型，而是这些模型的共同特征之一。尽管输入数据有所变化，这些大的激活值在很大程度上保持不变。这表明它们不受输入数据的影响，而是作为模型的固有属性存在。大激活充当LLMs中不可或缺的偏置项，它影响着模型的注意力机制，决定一些特定的部分获得更多的关注。
【大模型】激活函数之SwiGLU详解
酒酿小圆子呀～
03-28 4707
Swish是由Google Brain提出的一种激活函数，它的数学表达式如下：其中σx\sigma(x)σx是sigmoid函数，β是一个可学习的参数。当β趋近于0时，Swish函数趋近于线性函数yx2y = x^2yx2当β取值为1时，Swish函数是光滑且非单调的，等价于SiLU激活函数当β趋近于无穷大时，Swish函数趋近于ReLU函数。
大模型Tips：什么是神经网络中的激活函数
m0_46580983的博客
01-22 902
激活函数（Activation Function）是神经网络中至关重要的一部分。它的作用是将输入信号进行非线性变换，从而增强网络的表达能力，使神经网络能够学习和表示复杂的非线性关系。本文将介绍激活函数的基本概念、常用类型及其应用场景。
从ReLU到GELU，一文概览神经网络的激活函数.zip
12-21
从ReLU到GELU，一文概览神经网络的激活函数（https://mp.weixin.qq.com/s/pA9JW75p9J5e5KHe3ifcBQ），除上述外，本文还提供了若干相应的支撑论文。
transformer的激活函数
最新发布
m0_57755179的博客
09-03 326
平滑性： GELU是一个平滑的函数，具有连续的导数，没有梯度截断的问题，有助于梯度的稳定传播。高斯分布： GELU激活函数的输出在输入接近于 0 时接近于高斯分布，这有助于提高神经网络的泛化能力，使得模型更容易适应不同的数据分布。计算资源效率： GELU激活函数的计算相对复杂，涉及到指数、平方根和双曲正切等运算，因此在计算资源有限的情况下可能会带来较大的计算开销。的激活函数，相较于 ReLU 等激活函数，GELU 更加平滑，有助于提高训练过程的收敛速度和性能。例如Bert用的是GELU。
神经网络 - 激活函数（Swish函数、GELU函数）
分享技术人生的学习笔记和过往心得，与志同道合者共同进步
02-28 3677
本文我们学习了神经网络的两种激活函数，分别是Swish函数和GELU函数，为了更好的理解GELU函数，还附加了概率密度函数和累积分布函数的介绍。知识的学习，有时晦涩难懂，但总归需要日积月累、慢慢消化，希望跟我一样正在学习神经网络的同学，不要放弃，持之以恒，向着目标勇敢出发！
gelu relu
mayaohao的博客
07-15 618
在实际应用中，GELU 通常能提供更好的模型表达能力，但计算开销也更大。选择时需权衡任务需求和计算资源。
大模型常用激活函数总结
weixin_71945758的博客
05-11 662
【代码】大模型常用激活函数总结。
【大模型LLM面试合集】大语言模型基础_激活函数
chen695969的博客
07-04 1661
神经网络是线性的，无法解决非线性的问题，加入激活函数就是给模型引入非线性能力； 不同的激活函数，特点和作用不同： Sigmoid和tanh的特点是将输出限制在(0,1)和(-1,1)之间，说明Sigmoid和tanh适合做概率值的处理，例如LSTM中的各种门；而ReLU就不行，因为ReLU无最大值限制，可能会出现很大值。 ReLU适合用于深层网络的训练，而Sigmoid和tanh则不行，因为它们会出现梯度消失。
面试篇 - Transformer前馈神经网络（FFN）使用什么激活函数？
qq_60245590的博客
04-29 1154
GELU(x) = xΦ(x) ≈ 0.5x(1 + tanh[√(2/π)(x + 0.044715x³)]) # 近似计算。timeit.timeit(lambda: nn.ReLU()(x), number=100) # 约0.12秒。timeit.timeit(lambda: nn.GELU()(x), number=100) # 约0.18秒。self.activation = nn.ReLU() # 或 nn.GELU()计算代价：GELU比ReLU慢约15%（因需计算tanh）
激活函数之ReLU函数
热门推荐
tian_panda的博客
08-27 9万+
0 前言 激活函数的引入是为了增加神经网络模型的非线性，没有激活函数每层就相当于矩阵相乘。每一层输出都是上层的输入的线性函数，无论神经网络多少层，输出都是输入的线性组合，就是最原始的感知机 加入激活函数，给神经元引入非线性因素，神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 1 激活函数之ReLU函数 ReLU函数是目前比较火的一个激活函数,函数公式：，函...
【DL经典回顾】激活函数大汇总（三）（Swish & GELU附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-13 1472
Swish和GELU激活函数是深度学习领域中两个重要的激活函数，它们在多个领域，尤其是自然语言处理（NLP）和计算机视觉（CV）中，表现出了卓越的性能。本文介绍了这两个激活函数。
大模型激活函数
03-14
<think>嗯，用户想了解大模型中使用的激活函数类型、特点和应用。我需要先回顾一下激活函数的基本知识，然后结合大模型的具体情况来整理信息。 首先，激活函数在神经网络中的作用是引入非线性，增强模型的表达能力。常见的激活函数比如Sigmoid、Tanh、ReLU等，这些在传统深度学习中已经广泛使用。但大模型，比如Transformer架构的模型，可能使用不同的激活函数或者改进版本，比如GELU或者Swish。需要确认这些激活函数的具体形式和在模型中的位置。 接下来，特点方面，大模型可能更关注计算效率和梯度传播的问题。例如，ReLU虽然简单，但存在Dead ReLU问题，而GELU可能更适合处理这种情况，尤其是在自然语言处理任务中。此外，大模型的参数量大，训练时间长，激活函数的选择会影响训练稳定性和收敛速度，因此需要分析不同激活函数在这方面的表现。 应用场景方面，用户提到的引用里提到，二分类用Sigmoid，多分类用Softmax，而大模型可能更多使用Softmax在输出层，比如Transformer的自注意力机制中的Softmax。同时，中间层可能使用GELU或其他激活函数。需要结合具体的模型架构，比如BERT、GPT系列使用的激活函数是什么。 另外，用户提供的引用3提到，大模型的激活函数选择基于ReLU家族，但可能有一些改进，比如Swish或者GELU。需要确认这些激活函数的具体应用案例，比如GPT是否使用GELU，而Transformer中的FFN层是否使用ReLU或其他变体。 可能还需要比较不同激活函数在大模型中的效果，比如训练稳定性、处理梯度消失或爆炸的能力，以及计算开销。例如，GELU相比ReLU在理论上更平滑，可能更适合深层网络。同时，Swish作为自动搜索得到的激活函数，是否有在大模型中应用的优势。 还需要考虑参数化激活函数，如PReLU，是否在大模型中被采用，比如在卷积神经网络中的成功应用是否迁移到了Transformer结构中。不过大模型如Transformer可能更多使用固定形式的激活函数，如GELU，以减少参数数量。 最后，应用场景部分需要具体说明不同激活函数适用的任务类型，比如生成任务、分类任务，或者自监督学习中的使用情况。例如，BERT在预训练时使用的激活函数，以及在下游任务微调时的调整。 需要确保回答覆盖类型、特点、应用三个部分，并且结合引用中的信息，比如引用3提到的ReLU家族作为起手式，以及针对不同任务选择不同输出层激活函数。同时，引用2中关于激活函数的作用，如解决梯度问题，也需要在特点部分提到。 现在需要组织这些信息，结构清晰，分点说明，同时生成相关问题，可能涉及激活函数的选择依据、优化方法、与传统模型的区别等。</think>### 大模型中的激活函数：类型、特点与应用 #### 一、激活函数的核心作用 激活函数是神经网络中引入非线性表达能力的关键组件，其核心价值包括： 1. **非线性建模**：使神经网络能够拟合复杂函数（如自然语言、图像中的非线性关系）[^2] 2. **梯度控制**：通过函数导数特性缓解梯度消失/爆炸问题 3. **特征空间变换**：对输入信号进行非线性映射，增强模型表达能力[^1] #### 二、大模型常用激活函数类型 1. **ReLU家族** - 基础ReLU：$f(x) = \max(0, x)$ - GELU（高斯误差线性单元）： $$f(x) = x \cdot \Phi(x) \quad (\Phi(x)为高斯累积分布函数)$$ 特点：在Transformer架构中广泛应用（如BERT、GPT系列），提供更平滑的梯度传播 - Swish：$f(x) = x \cdot \sigma(\beta x) \quad (\beta为可学习参数)$ 特点：自动搜索发现的激活函数，在深层网络表现优异 2. **位置敏感型函数** - Softmax（输出层专用）： $$f(x_i) = \frac{e^{x_i}}{\sum_{j=1}^K e^{x_j}}$$ 应用于注意力机制和多分类任务输出层[^3] - Sigmoid：$f(x) = \frac{1}{1+e^{-x}}$ 适用于二分类输出层或门控机制（如LSTM） #### 三、大模型激活函数的特殊设计 1. **计算效率优先**：选择计算复杂度低的函数（如ReLU系），因大模型参数量常达千亿级别 2. **梯度稳定性设计**： - 使用GELU替代ReLU缓解"Dead Neuron"问题 - 采用LayerNorm+激活函数的组合提升训练稳定性 3. **参数化改进**： - GLU（门控线性单元）：$f(x) = x \otimes \sigma(Wx + b)$ 特点：通过门控机制实现自适应特征选择，见于PaLM等模型 #### 四、典型应用场景 | 激活函数 | 适用场景 | 代表模型 | |------------|----------------------------|-----------------| | GELU | Transformer前馈子层 | BERT、GPT-3 | | Swish | 自动搜索优化的深度网络 | EfficientNet | | GLU | 稀疏化特征提取 | PaLM、Switch Transformer | | Softmax | 注意力权重计算/分类输出层 | 所有Transformer架构 | #### 五、选择策略建议 1. **中间层默认选择**：优先尝试GELU或Swish，因其在深层网络的梯度表现更稳定 2. **输出层按任务选择**： - 二分类：Sigmoid - 多分类：Softmax - 回归任务：线性激活 3. **参数效率考量**：对于超大规模模型，优先使用无参数激活函数降低计算开销 $$ \text{激活函数效果评估公式}：\eta = \frac{\partial \mathcal{L}}{\partial x} \cdot f'(x) $$ 该式反映了梯度传播效率与激活函数导数的直接关联，解释了GELU等平滑函数在深层网络的优势。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

comli_cn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值