大模型常用激活函数

最新推荐文章于 2025-09-03 11:17:49 发布
最新推荐文章于 2025-09-03 11:17:49 发布
阅读量180 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大模型笔记 文章标签： 大模型 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/comli_cn/article/details/145160168

1.介绍一下 FFN 块 计算公式？

FFN（Feed-Forward Network）块是Transformer模型中的一个重要组成部分，接受自注意力子层的输出作为输入，并通过一个带有 Relu 激活函数的两层全连接网络对输入进行更加复杂的非线性变换。实验证明，这一非线性变换会对模型最终的性能产生十分重要的影响。

FFN由两个全连接层（即前馈神经网络）和一个激活函数组成。下面是FFN块的计算公式：

FFN⁡(x)=Relu⁡(xW1+b1)W2+b2 \operatorname{FFN}(\boldsymbol{x})=\operatorname{Relu}\left(\boldsymbol{x} \boldsymbol{W}_{1}+\boldsymbol{b}_{1}\right) \boldsymbol{W}_{2}+\boldsymbol{b}_{2} FFN(

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Keras深度学习实战——深度学习中常用激活函数和损失函数详解
走向CTO的路上...
05-22 1569
本教程将介绍 Keras 深度学习框架中常用的激活函数和损失函数。激活函数用于引入非线性特性，使得神经网络能够更好地学习和模拟复杂的输入输出关系；损失函数用于度量模型预测结果与真实值之间的差异，选择合适的损失函数对于模型的训练至关重要。Keras 深度学习框架提供了简单易用的工具来选择和使用激活函数和损失函数，这使得深度学习技术可以更加广泛地应用。
从零开始大模型开发与微调：Softmax激活函数
AI架构师小马
12-27 1153
大模型开发, 微调, Softmax激活函数, 激活函数, 神经网络, 概率分布, 分类任务 1. 背景介绍 近年来，深度学习在计算机视觉、自然语言处理等领域取得了突破性进展，其核心驱动力是大型语言模型（LLM）的快速发展。这些模型拥有数十亿甚至数千亿的参数，能够处理海量数据，学习复
[从0开始AIGC][Transformer相关]：Transformer中的激活函数：Relu、GELU、GLU、Swish
Bin_Dut的博客
04-02 5784
FFN（Feed-Forward Network）块是Transformer模型中的一个重要组成部分，接受自注意力子层的输出作为输入，并通过一个带有 Relu 激活函数的两层全连接网络对输入进行更加复杂的非线性变换。在公式中，首先将输入向量 x 通过一个全连接层（线性变换）得到一个与 x 维度相同的向量，然后将该向量通过Sigmoid函数进行激活。在公式中，Swish函数首先对输入向量 x 进行一个非线性变换，然后通过Sigmoid函数进行激活，并将该激活结果与输入向量 x 逐元素相乘，得到最终的输出值。
激活函数小结：ReLU、ELU、Swish、GELU等
beingstrong的博客
10-14 1万+
激活函数Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、ELU、SoftPlus、Maxout、Mish、Swish、GELU、SwiGLU、GEGLU 总结
transformer的激活函数
最新发布
m0_57755179的博客
09-03 326
平滑性： GELU是一个平滑的函数，具有连续的导数，没有梯度截断的问题，有助于梯度的稳定传播。高斯分布： GELU激活函数的输出在输入接近于 0 时接近于高斯分布，这有助于提高神经网络的泛化能力，使得模型更容易适应不同的数据分布。计算资源效率： GELU激活函数的计算相对复杂，涉及到指数、平方根和双曲正切等运算，因此在计算资源有限的情况下可能会带来较大的计算开销。的激活函数，相较于 ReLU 等激活函数，GELU 更加平滑，有助于提高训练过程的收敛速度和性能。例如Bert用的是GELU。
优雅谈大模型9：大模型的激活函数
鲁班模锤
05-21 3077
实验证明“大激活”这种现象在各种LLMs中广泛存在。这表明它不限于特定模型，而是这些模型的共同特征之一。尽管输入数据有所变化，这些大的激活值在很大程度上保持不变。这表明它们不受输入数据的影响，而是作为模型的固有属性存在。大激活充当LLMs中不可或缺的偏置项，它影响着模型的注意力机制，决定一些特定的部分获得更多的关注。
【大模型】激活函数之SwiGLU详解
酒酿小圆子呀～
03-28 4705
Swish是由Google Brain提出的一种激活函数，它的数学表达式如下：其中σx\sigma(x)σx是sigmoid函数，β是一个可学习的参数。当β趋近于0时，Swish函数趋近于线性函数yx2y = x^2yx2当β取值为1时，Swish函数是光滑且非单调的，等价于SiLU激活函数当β趋近于无穷大时，Swish函数趋近于ReLU函数。
大模型Tips：什么是神经网络中的激活函数
m0_46580983的博客
01-22 902
激活函数（Activation Function）是神经网络中至关重要的一部分。它的作用是将输入信号进行非线性变换，从而增强网络的表达能力，使神经网络能够学习和表示复杂的非线性关系。本文将介绍激活函数的基本概念、常用类型及其应用场景。
神经网络 - 激活函数（Swish函数、GELU函数）
分享技术人生的学习笔记和过往心得，与志同道合者共同进步
02-28 3677
本文我们学习了神经网络的两种激活函数，分别是Swish函数和GELU函数，为了更好的理解GELU函数，还附加了概率密度函数和累积分布函数的介绍。知识的学习，有时晦涩难懂，但总归需要日积月累、慢慢消化，希望跟我一样正在学习神经网络的同学，不要放弃，持之以恒，向着目标勇敢出发！
从ReLU到GELU，一文概览神经网络的激活函数.zip
12-21
从ReLU到GELU，一文概览神经网络的激活函数（https://mp.weixin.qq.com/s/pA9JW75p9J5e5KHe3ifcBQ），除上述外，本文还提供了若干相应的支撑论文。
gelu relu
mayaohao的博客
07-15 618
在实际应用中，GELU 通常能提供更好的模型表达能力，但计算开销也更大。选择时需权衡任务需求和计算资源。
大模型常用激活函数总结
weixin_71945758的博客
05-11 662
【代码】大模型常用激活函数总结。
【大模型LLM面试合集】大语言模型基础_激活函数
chen695969的博客
07-04 1661
神经网络是线性的，无法解决非线性的问题，加入激活函数就是给模型引入非线性能力； 不同的激活函数，特点和作用不同： Sigmoid和tanh的特点是将输出限制在(0,1)和(-1,1)之间，说明Sigmoid和tanh适合做概率值的处理，例如LSTM中的各种门；而ReLU就不行，因为ReLU无最大值限制，可能会出现很大值。 ReLU适合用于深层网络的训练，而Sigmoid和tanh则不行，因为它们会出现梯度消失。
面试篇 - Transformer前馈神经网络（FFN）使用什么激活函数？
qq_60245590的博客
04-29 1154
GELU(x) = xΦ(x) ≈ 0.5x(1 + tanh[√(2/π)(x + 0.044715x³)]) # 近似计算。timeit.timeit(lambda: nn.ReLU()(x), number=100) # 约0.12秒。timeit.timeit(lambda: nn.GELU()(x), number=100) # 约0.18秒。self.activation = nn.ReLU() # 或 nn.GELU()计算代价：GELU比ReLU慢约15%（因需计算tanh）
激活函数之ReLU函数
热门推荐
tian_panda的博客
08-27 9万+
0 前言 激活函数的引入是为了增加神经网络模型的非线性，没有激活函数每层就相当于矩阵相乘。每一层输出都是上层的输入的线性函数，无论神经网络多少层，输出都是输入的线性组合，就是最原始的感知机 加入激活函数，给神经元引入非线性因素，神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 1 激活函数之ReLU函数 ReLU函数是目前比较火的一个激活函数,函数公式：，函...
【DL经典回顾】激活函数大汇总（三）（Swish & GELU附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-13 1472
Swish和GELU激活函数是深度学习领域中两个重要的激活函数，它们在多个领域，尤其是自然语言处理（NLP）和计算机视觉（CV）中，表现出了卓越的性能。本文介绍了这两个激活函数。
常用激活函数(relu,glu,gelu,swish等)
cdLiang的博客
02-22 1万+
常用激活函数总结，relu,glu,gelu,swish等，并且给出pytorch的调用接口，或pytorch的实现
Squared ReLU：Transformer中的高效激活函数
阿正的梦工坊
05-09 1124
Squared ReLU 的设计灵感来源于对高阶多项式激活函数的研究。虽然 rectified 形式的二次多项式激活函数在神经网络中并不常见，但研究表明它在 Transformer 模型中表现出色，尤其是在自然语言处理任务中，能够显著提升训练速度和模型性能。
大模型激活函数
03-14
#### 二、大模型常用激活函数类型 1. **ReLU家族** - 基础ReLU：$f(x) = \max(0, x)$ - GELU（高斯误差线性单元）： $$f(x) = x \cdot \Phi(x) \quad (\Phi(x)为高斯累积分布函数)$$ 特点：在Transformer架构中...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

comli_cn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值