斯坦福博士提出超快省显存Attention，GPT-2训练速度提升3.5倍，BERT速度创纪录

原创 于 2022-06-08 15:01:53 发布 · 585 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #机器学习 #人工智能 #java #python

斯坦福大学的研究人员提出了一种名为FlashAttention的超快、节省内存的注意力算法，它在训练BERT和GPT-2时分别提升了15%和3.5倍的速度，同时内存效率大幅提高。该算法通过IO感知和块递增计算等技术，避免了大型注意力矩阵在GPU上的物化，从而在实际运行时间和内存访问上取得了显著提升。
白交 发自 凹非寺
量子位 | 公众号 QbitAI

Flash is all you need！

eee90c6f9e8aaf19b4b0a52525bedfd3.png

最近，一个超快且省内存的注意力算法FlashAttention火了。

通过感知显存读取/写入，FlashAttention的运行速度比PyTorch标准Attention快了2-4倍，所需内存也仅是其5%-20%。

8e11ab3e463078871d5a859def1db320.png

而它的表现还不止于此。

  • 训练BERT速度相较于MLPerf训练记录提升15%；

  • 训练GPT-2的速度提高3.5倍；

  • 训练Transformer的速度比现有基线快。

网友们纷纷表示惊叹：Great Job！这项工作对我来说很有用。

f114cefc4d5c391b3a68657f49c0a4de.png

来看看这是一项什么样的研究~

FlashAttention

本文提出了一种IO感知精确注意力算法。

随着Transformer变得越来越大、越来越深，但它在长序列上仍然处理的很慢、且耗费内存。（自注意力时间和显存复杂度与序列长度成二次方）</

最低0.47元/天 解锁文章
QbitAl
关注
博客
看完最新国产AI写的公众号文章，我慌了！
12-08 255
请以合法的JSON格式返回结果，结果是一个list，每一个list元素对应一个目标检测结果dict，dict的key由label、bbox_2d组成，值分别为检测到的猫的品种和结果坐标框。首先，它会根据这篇论文的内容，先处理文字的部分，将文章分为了引言、核心问题、破局之道、实验结果、深入分析、结论与展望这六大部分，是符合一篇论文解读文章的逻辑。GLM-4.6V的思考过程同样是调取了各个财报中的关键图表和数据，然后先是汇总成了一份对比表格，再对关键指标做了逐一的解析，最终给出了关键性结论。
博客
小冰之父李笛智能体创业，公司取名Nextie！陆奇是股东
12-08 2
2014年，李笛出任小冰团队负责人，主导推出微软小冰AI聊天机器人，并同时负责Bing中国搜索业务及小冰在中国、日本、美国、印度等多个国家和地区的产品线。简单来说，群体智能不追求单个模型的预训练最大化，而是让一群各有所长的AI一起「开会」，在持续的辩论与思维碰撞中，逐渐逼近更合理的答案。现场展示来看，李笛介绍，上次创业，他们通过情感计算框架、全双工语音交互、多模态感官等技术路径，教会了小冰什么是「情感」。，之前周力的公开身份是小冰公司首席架构师，但周力变更后更进一步的董事会任职，目前未得而知。
博客
100万亿Token揭示今年AI趋势！硅谷的这份报告火了
12-08 12
一旦穿上，他们就很难换掉，即使后面有更好的模型出现。典型的例子就是5月发布的Claude 4 Sonnet和6月发布的Gemini 2.5 Pro，其用户留存率在5个月后还保持着40%的高水平，而这也正是取决于它们在工具调用和推理能力上取得的突破。2025年11月，Anthropic在该领域的市场份额首次跌破60%，而在7月以来，OpenAI的市场份额已从约2%增长至近几周的约8%。市场现在正分化为两类，用户要么倾向于一个新兴的、强大的中型模型类别，要么将其工作负载整合到最强大的单个大型模型上。
博客
哈萨比斯：DeepMind才是Scaling Law发现者，现在也没看到瓶颈
12-08 16
AGI作为一种仍处于理论阶段的AI版本，要展现出类人的智慧能力，Scaling Law的大量数据和计算资源的投入，无疑是一种合理的解决途径。有趣的是，往前追溯Scaling Law的历史，公认开山立派的是2020年的OpenAI，转折则出自2022年的谷歌DeepMind。8月份谷歌上线的世界模型Genie 3，可以让用户生成一段交互式视频，然后像在游戏里一样在视频中自由走动，并保持长达一分钟的连贯性。从基础模型Gemini开始，就主打多模态定位，可以无缝处理图像、视频、文本和音频，并生成相应类型的输出。
博客
英伟达4B小模型击败GPT-5 Pro！成本仅1/36
12-08 3
忍不住提一嘴，哈萨比斯刚强调了Scaling Law的重要性，那么合成数据的Scaling怎么不算呢（doge）？为了确保数据质量，他们将复杂的推理管线拆分成不同的阶段，每个阶段都可以独立验证。而ARC-AGI 2确实是一个消除了与公共训练数据重叠的更高难度测试，那么问题来了，有人会说这样训练出来的小模型不就是做题机器吗？因此他们改变了思路，决定将最烧钱的计算工作转移到离线完成。增强样本的合成数据集，其中每个样本最多有7对输入/输出。但更值得关注的或许不在于模型本身，而在于实现突破的方法。
博客
本周三！量子位的这件大事就要来了｜MEET2026
12-08 23
这几位大咖聚在一起，探讨的不仅是Agent的技术架构，更是如何让AI从陪聊进化为真正的超级助理。前者， 是由量子位智库梳理总结出的2025年度AI代表进展，并且展望接下来能预见的技术趋势，覆盖从算法数据算力的技术底座，到产品解决方案，乃至行业应用的发展走向，总之关于AI的一切，都可以在这份报告一览而尽。而且现在大会的内容已经可以剧透，真就是光看嘉宾就知道有多重磅了，包括清华大学张亚勤、孙茂松、智源研究院王仲远等学术界的大咖，国内产业界有百度、小米、商汤等，国外有谷歌云、亚马逊云科技、高通等。
博客
机器人集体到香港户外极限挑战，狗比人强
12-08 299
在吊桥任务中，尽管多数队伍能在遥控的辅助下通过不连续的木板，但几乎没有队伍能在无辅助的情况下“把绳子拉下、把木板当桥板用”，这暴露出当前机器人在。这次全户外的环境也给机器人的感知能力带来了不小的挑战：来自光照、风、阴影等细微环境变化的扰动会不断累积成误差，成为影响任务成功率的关键变量。此外，相比于室内，在信号弱的野外，机器人更依赖自身IMU（惯性测量单元）、激光雷达与本地推理能力，难度再上台阶。在比赛中，上一秒香蕉皮的位置还很准确，但当机器人准备下爪抓取时，一阵风吹来，香蕉皮被吹偏，感知瞬间被打乱。
博客
英伟达自毁CUDA门槛！15行Python写GPU内核，性能匹敌200行C++
12-08 2
是一套全新的虚拟指令集，它在高级语言和硬件之间加了一层抽象，确保基于Tile编写的代码能在不同代际的GPU上运行，从当前的Blackwell到未来的架构都能兼容。过去能熟练驾驭CUDA的开发者是稀缺资源，会写Python的人一抓一大把，但能把代码优化到跑满Tensor Core的专家寥寥无几。不过英伟达也考虑了后手，CUDA Tile IR提供了跨代兼容性，但这种兼容性是建立在CUDA平台之上的。开发者写的代码确实更容易移植了，但移植的目标是英伟达自家的不同代GPU，而非竞争对手的硬件。
博客
嚯，38%斯坦福本科生是“残疾人”
12-08 2
比如说同样是考试环节，普通的大学生可能还在愁眉苦脸，而拥有官方残疾证明的学生，则有权获得额外的考试加时、专门设立的无干扰安静环境，以及甚至可以使用明令禁止的电子设备。有研究表明，其中相当一部分“残疾”学生，在阅读、数学和智商测试中的表现，都拥有高于平均水平的认知，但“残疾”认证却给他们带来了更多的校园便利。越来越多学生获得便利措施，是系统有效运作的证明，只要能够通过扩大审核条件的方式，解决一个残疾学生的学业问题，那么就是值得的。
博客
打工15年，被大厂裁4次了
12-07 71
的确比在微软有挑战性了很多，但好像有点太有挑战性了：刚进Meta的大门，工牌还没戴习惯，部门的产品规划就出了大纰漏，把整个团队折腾得鸡飞狗跳。然而随着AI的出现，同行开始疯狂抬package挖墙角，「消失术」每天都在老李身边上演——昨天同事还在对面喝咖啡，今天工位就干干净净了。，直接线下复用「公域获客→私域转化」的打法，还卖起了「可能提升牌运」的麻将周边，搞麻将比赛、做社群，生生把实体生意做成了互联网产品。，也能玩得很互联网——除了包子本身，还卖酒、做包子文创，把店铺打造成年轻人的「线下社交广场」。
博客
实测完豆包Seedream 4.5，替我设计师朋友哭了
12-07 74
清晨的微光穿过树林洒落其上，行人、骑行者与遛狗的居民沿栈道悠然前行，呈现出一幅静谧而富有生命力的画面。栈道两侧是一间间典型的北欧木屋，温暖的橡木墙面与暗蓝屋顶相互映衬。将几张图中元素融合到一张图中生成一张圣诞海报，画面主体是一颗大圣诞树，圣诞树下面摆放着礼物，海报上方写着“Merry Christmas”，字上要挂上小星星、气球装饰。画面上方，一轮淡金色的晨曦从云层背后升起，柔光照亮雾气，使光线在树林间散射出梦幻般的光晕。整体场景以木色、雾白与森林绿为主色调，辅以细腻的光影纹理，打造清新又富空间感的氛围。
博客
他们让万亿参数RL学会了「省着跑」，顺便砍掉九成算力
12-07 79
心智不只是存储的知识——它是能通过交互不断更新的世界模型、能从反馈中学习的内部机制、能动态感知任务的记忆系统。DeepSeek V3.2的技术报告里有个细节很值得玩味——RL训练的算力投入已经超过预训练的10%，而且性能曲线还在往上走。Mind Lab给出的解法是：用LoRA做参数高效适配，配合专门为万亿参数MoE模型设计的混合并行引擎，把RL的计算量砍到只剩十分之一，同时性能不打折。它持续生成接地的reward信号——编辑、使用模式、任务完成率、留存率，甚至用户的流失，都在告诉你系统到底有没有在帮忙。
博客
苹果芯片主管也要跑路！库克被曝出现健康问题
12-07 32
随着苹果从移动端的A系列芯片，到桌面级的M系列芯片，全面实现了旗下产品的芯片自研，斯鲁吉的职位也一路升至硬件技术副总裁、苹果高级副总裁、苹果硬件技术高级副总裁。Alan Dye离职的消息传出后，苹果就宣布挖走了Meta的首席法务官Jennifer Newstead，以接替已担任苹果总法律顾问8年的Kate Adams。而加入之初，他的职责就是领导A4的开发，即苹果第一颗自研系统芯片。最新爆料称，这位苹果自研芯片项目架构师，已经向库克表达了去意，并透露如果离开苹果，他将加入其他公司。
博客
Agent微调复活？英伟达开源8B新模型带飞GPT-5：在HLE狂卷37分，还把成本打下来
12-07 31
最近，来自英伟达和香港大学的研究员提出一种新范式：用一个8B小模型当指挥家，把代码解释器、网络搜索、数学模型、甚至更强的大模型当作乐手，按需编排、分工合作，用强化学习把“正确、便宜、合你心意”三件事同时做到。指挥家不会一味狂点GPT-5，而是平衡调用：本地/网页检索、代码执行、专长模型（如数学/编程）与通用LLM各司其职，用最省的刀切最对的菜。听你的：偏好对齐，对“更私的本地检索/更快/更省”等偏好，指挥家比强基座更能遵命行事，把“合你心意”从口号变成指标。他增强偏见：无脑调用“最强模型”，成本爆表。
博客
英伟达巧用8B模型秒掉GPT-5，开源了
12-06 62
MIT和CMU联合团队的ToolRL，提出以奖励为核心的工具学习框架，训练小模型通过强化学习动态选择工具，主要是解决“传统工具学习过度依赖人工标注数据” 的问题，通过自动生成工具交互轨迹训练模型。最明显的原因就是实用。大模型虽强，但太贵、太慢，而Orchestrator-8B参数量小，还能实现「强+省钱」，直接解决了落地时的成本难题。虽然也是奖励机制，但ToolRL的奖励函数更侧重于任务的正确性和工具调用效率，并没有明确纳入用户偏好，且工具库以基础工具和专业API为主。
博客
SpaceX估值8000亿美元超OpenAI，IPO就在明年
12-06 189
2008年，猎鹰1号在历经三次失败后终于成功入轨，这让SpaceX证明了自己——虽然是一家私营公司，但同样具备入轨能力。再到2025年，依靠猎鹰9号的高频复用，SpaceX实现了全球最高的发射能力，为大规模卫星星座的建设彻底铺平道路。比如，据彭博在内的另外几家媒体透露，SpaceX也可能以300美元左右/股进行交易，届时公司估值可能为5600亿美元，而非当前正在传的8000亿美元。到目前为止，SpaceX已经在火箭发射市场占据主导地位，除了帮一些商业卫星公司执行发射计划，也和NASA等官方机构多有合作。
博客
14岁华人小孩，折个纸成美国天才少年
12-06 51
而就是这些日常生活随处可见的普通纸张，让迈尔斯在一众背靠专业实验室设备的选手中脱颖而出，一举成为纽约名声大噪的天才少年。而就是这张看似平平无奇的折纸，却在此后成为了日本卫星太阳能板的关键结构，甚至NASA的可折叠太阳能阵列也曾受其启发。为了找出最优解，迈尔斯的研究囊括了4项变量：包括三种不同的平行四边形宽度、三种角度、两种高度，再加上三类纸张。神奇的是：在这54套方案中优胜的，并非尺寸较小、角度较小的板材，反倒是看似普普通通的复印纸。我完全是在没有任何专业设备的情况下完成的研究。
博客
智能体A2A落地华为新旗舰，鸿蒙开发者新机遇来了
12-06 651
当你沉浸在小红书的旅行攻略时，只需双指长按即可召唤分屏导航，左侧点击攻略里的景点，右侧的百度或高德地图瞬间就能响应定位，甚至能依据文中提到的多个地点自动规划出最佳路线，让导航出行一目了然。总之，A2A协作把人找服务的旧模式，变成了一声令下服务就主动找人的新形态，它让设备具备了组织能力，这不仅是效率的提升，更是消费电子设备进入主动智能协作阶段的里程碑。现在，只需对小艺下令，小艺就会作为主Agent，点个名就能自动调度并指挥第三方应用的子Agent，无需界面跳转，在小艺的对话框内就能完成任务。
博客
《三体》“宇宙闪烁”成真！免佩戴裸眼3D屏登Nature
12-06 79
长相上，它的大小和普通的24寸桌面显示器相当，但别小看这个尺寸，它的有效3D成像面积达到了0.1到0.2平方米，跟以前那种只能显示指甲盖大小的全息技术比起来，足足大了1000倍。它的思路不再是试图在整个空荡荡的空间里重建光场，而是利用传感器实时锁定观察者的眼球位置，通过精密计算，将有限的光学信息“聚拢”起来，只精准地投射到你双眼注视的那个小范围内。在实现这么多复杂效果的同时，它的画质一点没缩水，依然保持了1920×1080的高清分辨率，刷新率也超过了50Hz，画面非常流畅，完全能撑得起实时的动态内容。
博客
知名数学家辞职投身AI创业：老板是00后华人女生
12-06 128
是一个30年前的加法数论问题，涉及将整数表示为多个进制下的幂之和，在Axiom发布的前两天，Harmonic同样宣称解决了该问题，但只完成了简化版问题的证明，以及Lean形式化验证。在此期间还发表了9篇论文，涉及领域相当广泛，包括模椭圆曲线与K3曲面的L函数、月光猜想、theta与划分函数同余方程、堆栈排序算法，和二部图边染色的马尔可夫链。他主要的工作是推动内部AI模型达到性能极限，通过设计出只有深度理解数学原理才能够解决的数学问题，以及制定衡量系统性能的基准，指导模型优化。几周前，OpenAI曾声称。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值