LLMs 激活函数篇

最新推荐文章于 2025-05-30 08:05:08 发布
最新推荐文章于 2025-05-30 08:05:08 发布
阅读量308 收藏
点赞数 7
分类专栏： LLM大模型 文章标签： 人工智能 语言模型 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012374012/article/details/144188014
版权

1 介绍一下 FFN 块计算公式？

2 介绍一下 GeLU 计算公式？

3 介绍一下 Swish 计算公式？

4 介绍一下 使用 GLU 线性门控单元的 FFN 块 计算公式？

5 介绍一下 使用 GeLU 的 GLU 块 计算公式？

6 介绍一下 使用 Swish 的 GLU 块 计算公式？

各LLMs 都使用哪种激活函数？

大模型LLMs组件系列：激活函数
jpw41的博客
08-22 760
💡 正如在全连接神经网络那篇文章中介绍Perception时提到的，人工神经网络中的激活函数（activation function）是对生物神经元达到膜电位阈值后发射常数脉冲的模拟，因此从神经生物学视角来看，1958年的感知机Perception中使用的非线性的0-1阶跃/符号函数是最理想的，但在数学层面却不是。阶跃函数不连续不可导，在BP反向传播中会带来巨大的计算问题；此外，对于线性神经网络而言，激活函数又承载着帮助线性结构拟合非线性规律、规范输出范围的功能，还得重点关注梯度问题。
LLMs 损失函数篇
Java架狗师知识框架速查表
11-16 881
该文档系统讲解了深度学习中常见的损失函数，包括其原理、区别、用途以及具体计算方式，并针对潜在问题提供了解决方法，内容涵盖KL散度、交叉熵、信息增益、Softmax等核心概念。
LLMs 激活函数
hh051020的博客
03-31 164
介绍一下 FFN 块 计算公式？ 2个可训练权重矩阵，中间维度为 4h各LLMs 都使用哪种激活函数？4h = 4*4096 = 163842/3 * 4h = 10022 -> 1100811008/128 = 86
【大模型LLM面试合集】大语言模型基础_激活函数
chen695969的博客
07-04 1434
神经网络是线性的，无法解决非线性的问题，加入激活函数就是给模型引入非线性能力； 不同的激活函数，特点和作用不同： Sigmoid和tanh的特点是将输出限制在(0,1)和(-1,1)之间，说明Sigmoid和tanh适合做概率值的处理，例如LSTM中的各种门；而ReLU就不行，因为ReLU无最大值限制，可能会出现很大值。 ReLU适合用于深层网络的训练，而Sigmoid和tanh则不行，因为它们会出现梯度消失。
优雅谈大模型9：大模型的激活函数
鲁班模锤
05-21 2604
实验证明“大激活”这种现象在各种LLMs中广泛存在。这表明它不限于特定模型，而是这些模型的共同特征之一。尽管输入数据有所变化，这些大的激活值在很大程度上保持不变。这表明它们不受输入数据的影响，而是作为模型的固有属性存在。大激活充当LLMs中不可或缺的偏置项，它影响着模型的注意力机制，决定一些特定的部分获得更多的关注。
大模型LLM相关面试题整理-位置编码-tokenizer-激活函数-layernorm
weixin_36378508的博客
10-17 2132
绝对位置编码是一种用于为序列数据中的每个位置添加绝对位置信息的技术。在自然语言处理中，绝对位置编码常用于处理文本序列，特别是在使用Transformer模型进行序列建模的任务中。在传统的Transformer模型中，位置编码使用了正弦和余弦函数的组合来表示相对位置信息，但它并没有提供绝对位置的信息。这意味着，如果将输入序列的位置进行重新排序或删除/添加元素，模型将无法正确地理解序列的新位置。为了解决这个问题，绝对位置编码被引入到Transformer模型中。
从函数逼近角度理解神经网络、残差连接与激活函数
u010165147的博客
06-23 1432
最近思考激活函数的时候，突然想到神经网络中残差连接是不是和函数的泰勒展开很像，尤其是在激活函数fxx2f(x)=x^2fxx2时(这个激活函数想法来源于fxReLU2x3fxReLU2x3)，所以验证了一下就顺便写下来了，本文抛砖引玉，如果有建议或更好的想法可以写到评论区。
大模型面试题之LLMs 损失函数篇
风一样
05-20 709
文章摘要：本文介绍了KL散度、交叉熵损失函数及其在分类问题中的应用，比较了KL散度与交叉熵的区别，并讨论了多任务学习中处理损失差异过大的方法。文章还解释了为何在分类问题中使用交叉熵而非均方误差，并介绍了信息增益在决策树算法中的作用。此外，文章还涉及多分类问题的Softmax交叉熵损失函数及其计算方法，以及处理Softmax函数中e次方超过float值的技术。
3-LLMs 激活函数篇.pdf
12-31
关于LLMs激活函数篇的内容，我们知道了FFN块的基础结构和计算方式，介绍了GeLU、Swish这两种激活函数，以及GLU线性门控单元的作用和结合激活函数的GLU块计算公式。我们还了解到在大型语言模型中会根据模型特性选择...
大模型面试宝典.zip
03-22
P LLMs 激活函数篇 P 大模型（LLMs） RAG 版面分析——表... P LLMs 损失函数篇 P RAG (Retrieval-Augmented Generati... P 大模型（LLMs） RAG 版面分析——文... P Graph RAG 面——一种基于知识图谱的... P 大...
Github 2025-05-30Java开源项目日报Top10
最新发布
老孙正经胡说
05-30 792
根据Github Trendings的统计，今日(2025-05-30统计)共有10个项目上榜。
OpenCV CUDA模块直方图计算------在 GPU 上计算输入图像的直方图（histogram）函数histEven()
jndingxin的专栏
05-29 652
该函数用于在 GPU 上计算输入图像的直方图（histogram）。它将像素值区间均匀划分为若干个 bin（桶），并统计每个 bin 中像素的数量。
Prompt Tuning：优化提示调优全攻略
ZJQ的博客
05-26 1015
Prompt Tuning（提示调优）是一种通过优化提示词来调整预训练语言模型行为的技术。主要变体包括：Prefix Tuning（添加可训练前缀向量）、Hard-Prompt Tuning（直接使用自然语言提示）、Soft-Prompt Tuning（学习通用提示向量）、Prompt Ensemble（多提示集成）和Auto-Prompt（自动搜索最优提示）。其中Hard-Prompt Tuning最为直观，可通过自然语言指令（如"这段文字的情感是积极的"）引导模型输出。代码示例展示了
智能体商业化落地实战指南：破解技术变现“最后一公里“难题
2401_88740939的博客
05-28 1111
AI智能体开发遇变现难题，井云平台推出解决方案。当前智能体开发者面临三大困境：用户管理低效、支付链路缺失、流量转化乏力。井云平台通过三大引擎帮助实现商业化闭环：1）灵活计费模式和支付系统；2）独立官网生成与会员运营工具；3）企业级定制服务。典型应用场景包括法律咨询、文案生成、虚拟偶像等，支持从开发到变现的零代码快速部署，解决AI技术落地最后一公里问题，让智能体真正实现商业价值。
【第4章 图像与视频】4.6 结合剪辑区域来绘制图像
奋斗的小猪
05-29 880
本节将综合运用图像处理、离屏 canvas 以及剪辑区域等技术实现墨镜效果。
AI大模型赋能客服中心：实施路径与关键策略
2202_75469062的博客
05-29 904
AI大模型正在重塑客户服务行业格局，为企业客服数字化转型提供创新解决方案。文章系统阐述了AI大模型在客服领域的完整应用路径：首先明确业务需求与量化目标，选择适配的AI模型；其次做好数据准备与系统集成，通过试点验证模型效能；然后持续优化训练，逐步扩大应用范围；最后建立长期运营机制。实施过程中需应对技术适配、品牌契合和成本控制等挑战，采用"敏捷试点、快速迭代"策略。通过科学的全生命周期管理，AI大模型可显著提升客服效率40%以上，降低运营成本30%，同时改善客户体验，实现服务数字化转型。
YOLOv11助力地铁机场安检！！！一键识别刀具
crasher123的博客
05-26 346
在传统的安检过程中，X光图像分析通常依赖人工判断，不仅工作负担大，而且准确性和效率受限，特别是面对复杂多变的违禁物品形态时，容易出现漏检、误检的情况。基于此，**“基于人工智能的安检X光危险品刀具检测”**这一研究应运而生，旨在利用YOLOv11等深度学习技术，结合高质量的X光图像数据，开发出一个自动化的安检系统。在这一背景下，人工智能（AI）技术，尤其是深度学习和计算机视觉技术，作为当前最前沿的技术之一，为安检领域带来了巨大的变革机会。，特别是在X光图像的自动化分析方面，具有极大的潜力和优势。
（八）知识图谱之维护与更新
hanyuge的专栏
05-26 1022
fill:#333;color:#333;color:#333;fill:none;是是否数据错误需求扩展数据监控有更新?增量抽取版本控制质量评估合格?更新知识图谱人工干预修正数据用户反馈收集问题分类触发审核流程调整知识建模知识图谱的维护是一个“动态监控-质量检测-人工干预-持续优化”的闭环过程，需结合自动化技术与人工经验，确保图谱始终准确、完整、可用。1. 维护流程核心环节与逻辑fill:#333;color:#333;color:#333;fill:none;是是。
python学习day31
weixin_51728929的博客
05-28 651
models/ 目录：专门存放训练好的模型文件，根据模型保存格式不同，可能是 .pkl（Python pickle 格式，常用于保存 sklearn 模型 ）、.h5（常用于保存 Keras 模型 ）、.joblib 等。output/logs/：保存项目运行日志文件，记录项目从开始到结束过程中的关键信息，如训练开始时间、训练过程中的损失值变化、预测时间等。4. 为你的数据和模型产出物创建专门的顶层目录，如 data/ 和 models/，将它们与你的源代码（通常放在 src/ 目录）分开。
chatglm-cpp
01-16
- **src/** : 存放着核心算法实现的核心代码片段，包括但不限于矩阵乘法、激活函数计算等基本单元操作。 - **include/** ：包含了所有公开头文件的位置，这些头文件提供了对外部可见的功能声明和服务接口定义。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值