2025_NIPS_Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-...

一、文章主要内容总结

该研究聚焦大型语言模型(LLM)中的门控机制,系统探究了门控增强型softmax注意力变体的效果。通过在15B混合专家(MoE)模型和1.7B稠密模型上(基于3.5万亿token数据集训练)开展30余种变体对比实验,核心发现:在缩放点积注意力(SDPA)后应用特定于注意力头的sigmoid门控(G₁位置),能持续提升模型性能、增强训练稳定性、容忍更大学习率并优化缩放特性。

研究揭示门控机制有效的两大关键因素:一是在softmax注意力的低秩映射中引入非线性,二是通过查询依赖的稀疏门控分数调节SDPA输出。该稀疏门控机制还能缓解“大规模激活”和“注意力沉陷”问题,提升长上下文外推性能,并已应用于Qwen3-Next模型。此外,研究还验证了门控在不同模型架构、训练数据量和超参数设置下的有效性,给出了“在SDPA输出后应用逐元素门控并适度提高学习率”的实用建议。

二、文章创新点

  1. 系统探究门控变体:全面对比了5个门控位置(Q/K/V投影后、SDPA输出后、最终稠密层后)、多种粒度(逐元素/逐注意力头)、共享方式(注意力头特定/共享)、作用形式(乘法/加法)和激活函数的门控变体,明确了最优配置。
  2. 揭示门控核心作用机制:首次阐明门控的有效性源于“非线性引入”和“查询依赖的稀疏性”,而非其他架构因素的混淆,填补了现有研究对门控具体作用机理的认知空白。
  3. 解决关键技术痛点:提出的SDPA输出门控能彻底消除“注意力沉陷”(将首token注意力占比从46.7%降至4.8%)和“大规模激
「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品) 阅读详情

相关推荐

船载 OpenHarmony AIS 航海工作台:告警与防碰撞预警系统

船载OpenHarmony AIS航海工作台的告警与防碰撞系统,集成十余类告警(超速、偏航、会遇、SOS等),通过网格空间索引实现高效邻近判定,保障实时性。告警管理器统一调度规则、去重、通知与日志,支持悬浮球、语音、跑马灯、弹窗多渠道触达,确保航行安全。SOS紧急通道独立运行,避免干扰。系统设计强调性能优化与多场景适配,为航海安全提供核心支撑。

专注于计算机研发知识和资讯分享 581

QT+SOEM主站协议库实战指南—从编译到嵌入式应用

本文提供了一份QT与SOEM开源EtherCAT主站协议库的集成实战指南。详细介绍了在Windows和Linux平台下编译SOEM库的步骤,并讲解了如何将其无缝集成到QT项目中,构建具备实时监控与控制功能的工业上位机应用。内容涵盖从环境搭建、核心协议开发到嵌入式部署与优化的全流程,为开发高性价比、自主可控的工业控制解决方案提供完整路径。

u6v7w8x的博客 442

[SDIO] SD card 初始化及常用命令解析(附波形,uboot代码)

目录 初始化 1.cmd 0 2.cmd8 3.cmd55 4.acmd41 5.cmd2 6.cmd3 7.cmd9 8.cmd13 9.cmd7 10.ACMD51 11.CMD6 12.CMD16 13.CMD17 14.CMD18 15.CMD12 tuning CMD19 DW_SDHCI的tuning流程 初始化 1.cmd 0 /* Reset the Card */ err = mmc_go_idle(mmc...

Lenz_s_law的开发记录本 2万+

Spring Authorization Server自定义密码模式:突破标准OAuth2限制,实现MFA与复杂业务集成

OAuth 2.0授权框架是构建现代应用安全体系的基石,其密码模式(Resource Owner Password Credentials Grant)提供了一种直接的资源所有者凭证交换令牌的机制。该模式的核心原理是客户端收集用户密码并直接向授权服务器请求访问令牌,适用于受信任的客户端场景。在技术价值上,它简化了某些传统应用的OAuth集成流程。然而,标准实现往往难以满足复杂的现实业务需求,例如需要集成多因素认证(MFA)、对接外部LDAP目录服务或执行自定义密码加密校验等场景。Spring Authori

weixin_34302561的博客 438

应急响应-windows入侵检测分析、检测以及病毒查杀的权威性工具

2.1 病毒分析 从windows系统信息、软件、进程、内核、注册表、网络、文件、服务等各类系统信息展示并给出分析,提供给专家或安全人员分析使用工具。 1)PCHunter:http://www.xuetr.com PC Hunter是一个Windows系统信息查看软件,同时也是一个手工杀毒辅助软件。 常用进程、内核驱动、端口、内核、磁盘、卷、键盘、网络层等过滤驱动检测、注册表编辑、进程iat、eat、inline hook、patches检测和恢复、文件系统、SPI、启动项、服务、Host文件、映像

xianjie0318的博客 3897

【QT开发教程】Qt中的数据加密与解密

在现代应用程序中,数据加密与解密是保护敏感信息的重要手段。Qt本身并不直接提供数据加密与解密的支持,但可以使用第三方库,如OpenSSL或Crypto++,来实现这一功能。本文将介绍如何在Qt中使用OpenSSL进行数据加密与解密,包括基本概念、使用方法以及一些实际的示例。

科技改变人类,技术成就未来 1158

Unity 之如何使用Pico4u锚点功能实现一个世界锁GameRoot

摘要 空间锚点技术是混合现实(MR)应用的核心,能永久记录虚拟物体的空间位置。文章介绍了在Unity中使用Pico SDK实现空间锚点的完整流程:1)环境配置需安装XR模块和Pico SDK;2)关键操作包括启动空间感知、创建/删除/查询/更新锚点;3)提供了经典应用案例,通过GameRoot节点实现场景固定和锚点同步。源码展示了基于XR交互工具包的锚点抓取与位置更新实现,为MR开发提供了实用参考方案。

TxNet 976

最小二乘(MLS)求点云法向量

MLS算法的基本思想是通过在点云的局部邻域内拟合一个光滑曲面,如平面或多项式曲面,以此来重建和处理点云数据。对于法向量估计,MLS通常在每个点的邻域内拟合局部平面,然后从该平面的法向量作为点的法向量。

twnkie的博客 745

高级计算机体系结构--三次作业

中科大 高级计算机体系结构 作业

一杯水果茶!足矣~ 1397

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

上一篇: 2025_NIPS_Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning
下一篇: 2025_NIPS_Dynamic Bundling with Large Language Models for Zero-Shot Inference on Text-Attributed ...
UnknownBody
博客等级 码龄16年 5602粉丝 4759原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值