Bengio精简了传统RNN，性能可与Transformer媲美

原创 于 2024-10-04 12:48:28 发布 · 1.2k 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#rnn #transformer #人工智能 #深度学习 #神经网络

金磊 发自 凹非寺
量子位 | 公众号 QbitAI

深度学习三巨头之一的Yoshua Bengio，刚刚发布了一篇有趣的新论文——

RNN就是所需的全部吗？
Were RNNs All We Needed?

facc559eee868797893b920c01505376.png

不仅论文的名字有意思，其结论更是精彩。

研究表明，精简十几年前的RNN们，性能上可以与最近序列模型（如Transformer等）相媲美！

659893203a575d2b1f5b4f37d13f5568.gif

具体而言，Bengio等人重新审视了诸如LSTM（1997）和GRU（2014）这些传统的RNN，认为这些模型的缺点是由于需要时间反向传播 （BPTT） 而导致速度较慢。

所以他们直接大刀阔斧地移除了LSTM和GRU中的隐藏状态依赖，让它们不再需要BPTT，从而可以高效地并行训练。

而精简改良版的RNN们，名字分别叫做minLSTM和minGRU。

它们和传统RNN相比，不仅训练时所需的参数量大幅减少，并且完全可并行化。

嗯，是颇有一种大道至简的感觉了。

那么Bengio等人具体又是如何实现的？我们继续往下看。

精简版RNN

Transformer和它的变体们可以说是近几年大热的架构，但与此同时缺点也是较为明显，那便是在处理长序列时的计算复杂度问题。

具体来说，Transformer模型在序列长度上的计算复杂度是二次方的，

最低0.47元/天 解锁文章
QbitAl
关注
博客
开源模型叫板Nano Banana Pro！Stable Diffusion原班人马杀回来了
11-26 57
总之，从以上简单实测来看，Flux.2在指令遵循、精细控制方面确实有了很大进步，但如果真正对比谷歌目前最顶级的Nano Banana Pro模型，老实说仍存在一定差距。以及，Flux.2还支持分辨率高达4MP的图像编辑——最常见的4MP分辨率是2560像素（宽） x 1440像素（高），这也常被称为2K或1440p分辨率。听闻上线的消息，我们立刻快速实测了一下Flux.2，可不能让Nano Banana在王位上太孤单了。而Flux.2准确get到了我们的意图，不仅加上了黄色安全帽，而且背景图也没有改变。
博客
爆发力超越波士顿动力液压机器人，PHYBOT M1实现全球首次全尺寸重型电驱人形机器人完美拟人态后空翻
11-26 93
动易科技坚信，只有在接近成人尺度的平台上，成功挑战人类身体极限的动作，才能证明其所依托的硬件架构、驱动系统与控制算法，具备了在真实、复杂、高强度的生产环境中替代乃至超越人类作业的潜力。因此，团队对电机，本体的关键参数进行了预先辩识，在参数辩识的基础上进行域随机化，保证了策略对现实误差更强的泛化能力，极大提升了策略从仿真到实物的转移成功率。当前的数据集质量参差不齐，大部分的数据不符合物理规律，直接使用不理想的数据会严重影响训练质量，导致动作变形，影响机器人的发力。
博客
全新稀疏注意力优化！腾讯最新超轻量视频生成模型HunyuanVideo 1.5核心技术解密
11-26 95
镜头推进，霓虹灯从“H”开始，伴随着‘滋滋’的电流声，每个字母依次亮起粉紫色的光芒，直到全部点亮，照亮了潮湿的街道。镜头以高角度广角拍摄，展现了人群和霓虹灯，随后迅速拉近，聚焦于一位年轻的女性。：通过8.3B参数的DiT架构与3D因果VAE编解码器，实现空间16倍、时间4倍的高效压缩，以最小参数量激发模型潜力，达到业界领先的生成效果。显著降低了使用门槛，提示词构建： 团队同样整理了一个均衡的万量级 (10K) 提示词集（来源于大语言模型生成的提示词及训练视频的描述），覆盖了运动、场景、主体等多个维度。
博客
观众抢位中！锁定MEET2026，让我们畅聊AI｜最新嘉宾阵容
11-26 292
刘凡平，毕业于中国科学技术大学，上海市科技专家库专家，曾出版人工智能领域著作4本，发表多篇人工智能领域论文，人工智能技术相关专利20余项，涵盖基础算法研究到大模型架构设计。韩旭于2017年创立文远知行，带领公司在全球11国超30城开展自动驾驶研发、测试和运营，2024年率公司成功登陆纳斯达克，成为“全球通用自动驾驶第一股”、“全球Robotaxi第一股”，2025年率公司成功登陆香港交易所，成为“港股Robotaxi第一股”。他的研究涵盖行为金融学、中国宏观经济、金融市场、卖空、破产重组及公司并购等领域。
博客
国内最大AI“学术-产业-人才”盛会来了！20位院士+50位院长+300位专家集结北京海淀
11-26 55
为主题，着力加强“学术前沿”与“教育之本”的深度对话和思想碰撞，探索“创新链、产业链、人才链”的深度耦合，为推动“十五五”人工智能发展注入全新动能。除专题会议外，大会还专门设立若干场前瞻、沉浸、可感知的互动体验展览与同期特色活动，构筑“学术-产业”双融平台，让灵感在碰撞中迸发！专题会议，直指AI领域最核心、最前沿的变革力量，呈现一场覆盖技术创新、产业落地与生态构建的全景式思想盛宴！院士把脉AI发展方向，院长共话AI人才培养，学术精英解码AI前沿突破，产业先锋揭秘AI实战智慧。将在北京市海淀区隆重召开！
博客
突破类脑模型性能瓶颈：校正频率偏置实现性能与能效双突破｜NeurIPS 2025
11-26 50
如上图所示，团队通过直观的傅里叶频谱分析表明，在“输入→激活→加权”的完整信息流中，与ReLU等传统激活函数会扩展信号的频率带宽不同，脉冲神经元会导致高频成分的快速消散(b-c)，进而导致特征模糊(d)。为了验证这一发现，研究者进行了一个简单而直接的对照实验：在脉冲Transformer中，分别采用平均池化（Avg-Pool，低通）和最大池化（Max-Pool，高通）作为token混合器。论文中形象地指出，尽管单个脉冲在频谱上看似乎是「全通」的，但其波形所产生的高频成分是虚假的，无法在网络中有效传播。
博客
ROCK & ROLL！阿里给智能体造了个实战演练场 | 开源
11-26 65
为突破这一制约，开发者需要双轨并行——既要构建高度可定制化与高性能的强化学习训练框架，也要建立高效稳定、弹性伸缩的环境管理运行体系，两者协同才能释放Agentic模型的真正潜力。不管你是想发顶会paper的研究员，还是想给公司搭自动化系统的架构师，或者是想自己搓个Agent玩玩的技术宅，ROCK都会是你绕不开的基础设施。不过要训练好这样的Agent，光有聪明的大模型大脑只是基础，后续还需要对模型进行训练，让模型学会在特定任务环境中规划并执行正确的决策序列。以前你要配置一套集群环境，可能得折腾好几天。
博客
英伟达：祝贺谷歌TPU成功，但GPU领先一代
11-26 48
另一边，英伟达CEO黄仁勋一直密切关注谷歌TPU的技术进展，并积极拉拢可能使用TPU的大客户，如OpenAI、Anthropic、Meta等。The Information指出，Meta已是英伟达的核心客户之一，黄仁勋可能通过与Meta达成独家合作，抢先阻止其与谷歌的TPU合作落地。英伟达上周三交出了创纪录的财报，黄仁勋也借此驳斥了AI泡沫的升温言论，但英伟达股价仅在周三短暂上涨，周四便随AI交易信心动摇而回落。有分析师称，鉴于在训练芯片领域难以撼动英伟达的技术优势，挑战其霸权的最大机会在于推理芯片。
博客
90后华人副教授突破30年数学猜想！结论与生成式AI直接相关
11-26 118
Talagrand的猜想是，在高斯空间或布尔超立方体等概率空间上对函数进行“加热平滑”（卷积）操作后，这个函数取到极大值的概率应该比马尔可夫不等式预测的还要低得多。就是说，塔拉格兰卷积猜想认为，经过平滑处理的数据，出现极端异常值的可能性比一般理论预测的要低一个特定的量级。值得关注的是，该论文是一篇关于概率论的纯数学研究，但其结果与机器学习，乃至生成式AI技术有直接的关联。首先，论文中使用的“反向热过程”，是扩散模型在布尔超立方体上的对应，两者具有很高的相似性。具体来说，新的耦合构造利用了沿随机过程的扰动。
博客
Ilya罕见发声：大模型「大力出奇迹」到头了
11-26 38
尤其令人印象深刻的是，欲望是你后天习得的，这很合理，因为你的大脑很智能。也许这并非你的重点，但理解这一点的一种方式是，欲望根植于基因组之中，而基因组本身并不智能。第二种是：即便没有出现这种递归增强，只要你有一个统一的大模型，它的不同实例在全球范围内执行不同任务，不断学习，再把彼此的学习成果整合起来——那么你最终也得到了一种「功能性超级智能」。原则上，就是找到一种可靠的沟通方式，并确保第一个真正意义上的超级智能能够以协调、关怀、有益的方式行事——关心有感知能力的生命、关心人类，尊重民主理念，或多者兼具。
博客
33岁稚晖君，上市公司董事长！
11-26 59
值得一提的是，在不久前，稚晖君还入选工信部公示的人形机器人标准化技术委员会委员名单，担任副主任委员，同时入选的还有宇树科技的创始人、CEO。，通过其与核心团队共同设立的持股平台，以 “协议转让 + 要约收购” 的组合模式，历时4个月完成对上纬新材的收购，总成本约21亿元。实际上，关于智元“以下犯上”以创业公司身份并购上市公司，并非完全没有争议，智元对上纬新材的收购，一定会被载入商业发展史。此外，彭志辉、姜青松、钮嘉均同时任职于智元创新（上海）科技有限公司，仅在公司担任董事职务，不兼任其他行政职务。
博客
小米打通智驾和具身大模型，然后开源了
11-25 71
实验结果显示，MiMo-Embodied在所有感知基准测试、预测、规划中均取得了强劲的性能，在全景语义理解任务中展示了最先进的结果，同时在具有挑战性的局部感知场景中也表现出卓越的鲁棒性。在最后，论文表示还将基于MiMo-Embodied模型的能力，探索具身智能视觉-语言-动作（VLA）模型，以增强复杂环境中的交互，通过自然语言理解实现更直观的任务执行。结果表明，MiMo-Embodied 取得了具有竞争力的结果，与通用多模态模型和专用具身模型相比，在可供性预测和空间理解方面表现出特别的优势。
博客
马斯克开始用Grok替代员工了！最惨部门裁员90%
11-25 79
据此前《连线》爆料，自OpenAI挖走了xAI之前的工程师负责人Uday Ruddarraju和Mike Dalton之后，这对双胞胎兄弟就成了xAI的顶级工程师，并直接向马斯克汇报。xAI是老马2023年创办的AI初创企业，旗下主要产品就是Grok模型，而9月被裁的就是帮忙训练Grok模型的数据标注团队。最直接的矛盾在于，负责平台安全的团队与生成内容的AI系统之间，出现了致命的“权责不对等”。总之，马斯克的AI改造计划在砍向人力成本的同时，也正在砍伤平台安全的根基、核心业务的未来。
博客
学生3年投稿6次被拒，于是吴恩达亲手搓了个评审Agent
11-25 114
它会把你提交的PDF转成Markdown，确认这是学术论文后，自动提炼出一些关键词，比如你实验用了什么标准、你的题目和哪些现有论文类似。然后用搜索工具去arXiv上找最新的相关研究，接着挑出最相关的论文进行总结，之后结合原文和这些总结，按模版给出完整的评审意见，同时提一些。橙色折线则代表在对应人类评分区间内，AI评分≤5.5的比例，从图中可知，随着人类评分的升高，AI评分≤5.5的比例逐渐下降。测试发现，AI和人类审稿人的评分相关性是0.42，人类之间的相关性才0.41，说明这个AI快赶上人类水平了……
博客
Nano Banana新玩法无限套娃！“GPT-5都不会处理这种级别的递归”
11-25 30
画面中，一位中年艺术家正在将电脑屏幕上的图像亲手复制到一张绷好的油画布上，但这个图像本身其实就是这位艺术家绘制该递归图像时的拍摄画面。这场套娃游戏的细节处还是有诸多bug，而且很多人玩儿无限套娃的时候都设定它画出来的是一张老照片，噪点堪比ccd，分辨率很低，给了AI很多可以“出错”的模糊空间。Nano Banana画图，看起来是在用同样的元素套娃，但其实看起来相同的部分是分别随机噪声生成的。增加的7%市场份额，是新发布带来的一时兴起的边缘用户，还是真的迎来了一波新的长期粉丝？推理能力、速度、图像、视频。
博客
荣耀500系列2699元起：人物能实况、路人能消除、照片还能自己“跳出来”
11-25 599
摄像模组沿用了荣耀标志性的“水晶岛”风格，边缘过渡处理得更圆润，握持感比上一代提升一些，无论竖屏刷内容，还是横屏打游戏，手感都更贴合，同时还给那块大电池腾出了空间。荣耀500新增了一个最近社交媒体很火的“破框而出”的Live特效，用户选2～9张照片后，系统会自动识别并分离主体，再通过放大叠加呈现类似裸眼3D的效果。字面意思理解就是，有点像把美图秀秀的“路人消除”搬到了相机里：抓拍街景、演出、旅行的时候，能把无关路人处理掉，主体更突出、画面更干净。（明显这波就是冲着大学生断电场景去的…（痛点打得还蛮准的…
博客
Claude Opus 4.5发布！2小时工程测试超人类，前代Sonnet搞不定的活它轻松拿捏
11-25 59
在中等努力度设置下，Claude Opus 4.5在SWE-bench Verified测试中达到Sonnet 4.5的最佳得分，输出tokens用量却减少76%。与此同时，官方还更新了Claude开发者平台、Claude Code及App，并拓展了在Excel、Chrome及桌面端使用Claude的新方式。有时候，Claude的解决方案会超出预期，基准测试会将此判定为失败。，支持并行运行多个本地及远程会话，也就是说，可同时安排一个智能体修复漏洞，一个检索GitHub，另一个更新文档。
博客
奥特曼谈OpenAI首款AI硬件：我想拿起它咬一口
11-25 103
在具体的实践过程中，Jony Ive的团队制作了大量精美厚实的书籍，内容涵盖形状的历史、相机的设计等内容，通过研究相关设计线索，引导融合出新硬件产品的形态。，不优先考虑做什么形态的AI产品，而是先探索产品主题，例如改变人类与自然的关系、智能的本质、工具的本质等形而上学的内容。，不确定是否能做出任何产品、不急于证明自己的正确性，直到他们确定，想要创造一个能够了解你所有想法、阅读和言论的AI产品。所以接下来需要留意OpenAI的发布动向，也许是一款可能好用也可能不好用，但当你看到它的第一眼，就会想要咬的设备。
博客
波士顿动力前CTO加盟DeepMind，Gemini要做机器人界的安卓
11-24 77
我们想要构建一个AI系统，一个Gemini基础，这个系统几乎能够做到即插即用，适用于任何身体配置，包括人形机器人，也包括非人形机器人。今年3月，谷歌推出的让机器人拥有多模态理解能力的Gemini Robotics系列，就是从Gemini 2.0系列改造而来。Gemini 3爆火，哈萨比斯紧接着聘请硬件大佬，其实是准备让Gemini当机器人界的安卓。这次Gemini 3爆火，又有硬件大佬加持，在机器人这条赛道上，谷歌也“蠢蠢欲动”。实际上，谷歌想要借Gemini实现机器人领域的突破，也早有苗头。
博客
1米3宇树G1完美上篮！港科大解锁全球首个真实篮球机器人Demo
11-24 121
奖励越低（越难学）的片段，被采样的概率越高。其次，训练一个技能策略，通过模仿相应的HOI数据来学习交互技能，设计了一个统一的HOI模仿奖励机制，用于模仿各种不同的HOI状态转换。虽然团队还没公开完整的技术细节，但结合他们此前让机器人“打篮球”的工作，这次很可能是在之前研究的基础上，进一步改良而来。这就形成了一个连续的、可能的技能变体和转换空间，从而可以利用这些不完美的演示数据，训练出平滑、鲁棒的策略。最后，是训练一个高级控制器（HLC），用于复用已学习的技能来处理复杂任务，同时使用极其简单的任务奖励。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值