新架构RNN反超Transformer：每个隐藏状态都是一个模型，一作：从根本上改变语言模型...

于 2024-07-09 13:24:55 发布
阅读量973 收藏 12
点赞数 9
CC 4.0 BY-SA版权
文章标签： rnn transformer 语言模型 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/QbitAI/article/details/140309879
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

新架构，再次向Transformer发起挑战！

核心思想：将RNN中的隐藏状态换成可学习的模型。

甚至在测试时都可以学习，所以该方法称为TTT（Test-Time Training）。

共同一作UC伯克利的Karen Dalal表示：我相信这将从根本上改变语言模型。

eddd7ef00d9d0c077890b6504739983c.png

一个TTT层拥有比RNN表达能力更强的隐藏状态，可以直接取代Transformer中昂贵的自注意力层。

在实验中，隐藏状态是线性模型的TTT-Linear表现超过了Transformer和Mamba，用更少的算力达到更低的困惑度（左），也能更好利用长上下文（右）。

2f08ff96aaf2b845f8547ff207630bdb.png

此外，隐藏状态是MLP模型的TTT-MLP在32k长上下文时表现还要更好。

b1916db3924be6f4393da287cf20f926.png

Karen Dalel还指出，理论上可学习的隐藏状态可以是任意模型，对于更长上下文来说，可以是CNN、甚至可以是完整的Transformer来套娃。

目前刚刚出炉的TTT论文已经在学术界引起关注和讨论，斯坦福博士生Andrew Gao认为，这篇论文或许能成为下一篇Attention is all you need。

7f70982ca02628796dd4c141d356edb9.png

另外有人表示，众多新架构能否真正击败Transformer，还要看能不能扩展到更大规模。

Karen Dalel透露，马上就会推出7B模型。‍‍‍

最低0.47元/天 解锁文章

200万优质内容无限畅学
QbitAl
关注
博客
8个月晋升独角兽，欧洲版Cursor估值18亿美元
07-18 2
有人表示Lovable让他感到惊艳，在尝试了一些开发平台（Bolt，V0，Replit）都无法完成的情况下，它竟然在短短几个小时内就生成了一个完整的产品网站。2024年11月正式发布产品后，ARR几乎每周增长100万美元，3个月就从0增长至1700万美元，付费用户数高达3万多人，成为欧洲历史上增速最快的初创企业。与Cursor一样，Lovable也致力于利用大模型帮助用户开发应用，但它瞄准的是一个潜力更大的用户群体——那些不会编程的人。更令人瞩目的是，在达到1700万美元ARR，拥有3万名付费用户时，
博客
DeepSeek终于丢了开源第一王座，但继任者依然来自中国
07-18 4
换句话说，以前我们可能还要在模型能力和成本之间作取舍，但随着开源力量的崛起，多思考一秒钟都是对开源的不尊重（doge）。它们对于因地制宜地定制和本地化AI体验至关重要。而在已经逐渐崛起的开源模型领域，TOP 10中唯二开源、且都是国产模型的含金量还在上升。从实打实的数据来看，发布这一周里，Kimi K2在开源社区就获得了相当关注度和下载量。而且这种放弃自己的模型架构路线，彻底走DeepSeek路线的做法，也被国内网友评价为。：减少head数节省的成本，刚好抵消MoE参数变大带来的开销，且效果影响很小。
博客
7B模型“情商”比肩GPT-4o，腾讯突破开放域RL难题，得分直翻5倍
07-18 3
这一对比揭示了在开放复杂任务下RL训练的有趣现象：模型在能力受限时，会自发寻找策略性的“补偿路径”，而RLVER提供的多样化、多策略兼容的训练环境，正是促成这种多样行为演化的关键土壤。这引出一个有趣的策略思考：对于“情商”这类多维度的复杂能力，当模型各方面都达到“合格线”后，是继续做“六边形战士”，还是集中打造一两个“杀手锏”维度的长板？此外，RLVER对模型行为风格的影响也非常显著：模型从“解题型风格”迁移到“情绪型风格”，思路不再是“问题怎么解决”，而是“我能理解你的感受”。
博客
Meta全新AI组织架构曝光，这范儿有点字节
07-18 2
另一个庞大的部门，负责AI应用和产品，看起来由亚历山大的副手Nat Friedman来分管，其title就是Meta AI产品和应用研究副总裁。那不恰当类比的话，吴永辉就是字节的亚历山大·王啊——当然，这么说确实有点不够尊重吴老师，但类比着看吧，乔峰不也跟慕容复放在一起过。因为之前Llama团队的老员工，对新加入的天价少年们，表达出了“挑战”——这些人除了外来和尚，何德何能拿这么高的薪酬。5个月以来，在吴永辉主导下，Seed的工作风格相比之前也有所转变，更加扁平化，吴永辉的-2也可以向他直接汇报。
博客
大模型IMO25数学竞赛成绩公布了
07-18 2
Ω和Γ相交于两个不同的点A和B。设点P为三角形ACD的外心，AP与Ω相交于点E，与Γ相交于点F，且点E、F与点A均不重合。另外MathArena还专门指出，Grok 4的表现与预期严重不符，并且其绝大多数答案（未被选中的答案）只是简单地陈述了最终答案，而没有提供额外的解释。设N为正整数集，若函数f: N→N满足对任意正整数a和b，b^a-f(b)^f(a)均能被f(a)整除，则称该函数是bonza。从模型的成绩单可以看出，表现最差的是第2和第6题，其中第2题是平面几何，第6题也涉及图形。
博客
突破户外RGB-only SLAM尺度漂移难题，精确定位+高保真重建 | ICCV‘25开源
07-18 5
通过引入一个尺度自洽的3DGS点云图跟踪模块，将位姿估计所需的迭代次数减少至传统方法的10%，并在如Waymo等复杂数据集上实现了精确的相机追踪。，创新性提出基于局部patch的尺度对齐算法，动态校准预训练点云图（MASt3R）与3DGS场景的尺度参数，解决尺度模糊问题；的3D高斯点图，随后与当前帧进行特征匹配建立2D-3D对应关系，基于此估计尺度自洽的相机位姿并利用光度损失进行精细化调整。，利用3DGS渲染生成尺度自洽的3D点云图，并与当前帧建立精准的2D-3D对应关系，从而消除位姿估计中的漂移误差；
博客
一年破千万美金，一款海外AI创意引擎爆发了
07-18 6
一直以来营销成本都是所有商家运营成本超过三分之二的大开销，而如果Creati的广告世界模型能用无尽的算力去穷尽各种创意在虚拟的平行世界中市场对于不同素材的反馈，这将会极大的提升广告的胜率，确保商家的ROI，对于所有商家而言无疑是天选神器。为了训练这一广告世界模型，Creati需要使用大量的内容以及用户的广告数据来模拟广告市场中，不同喜好的人群对于不同的创意素材从观看，到共情，到点击最终下单的一系列反馈，而谁能快速积累用户的广告数据反馈就成为了最重要的壁垒。“广告只是我们验证概念的一个场景。
博客
ChatGPT智能体正式发布，多个创业赛道昨夜无眠
07-18 2
并且为了防止滥用，还禁用了。在手机端，华为、小米、OPPO、vivo和荣耀等等在内的公司，都在试水Agent，让AI自动帮你完成订咖啡、接推销电话——虽然那边也是AI打的，以及更多之前需要人自己“想”和“干”才能完成的工作。如果只是“想”的层面，具体到撰写分析研究报告的Agent就更多了，海外有OpenAI、Google和Perplexity，国内则有秘塔、Kimi等等。之前，通用Agent们只敢自称“实习生”，但OpenAI在自研底层模型能力的底气下，几乎就把“实习生”变成了“大秘书”。
博客
真热AI！米哈游5亿成立新公司
07-18 3
逆熵”团队的代表作为数字人鹿鸣，曾于2022年进行首次线上直播，开播即登上B站直播热门总榜，半小时吸引66万人观看，账号订阅数突破150万。游戏主角是一个天体物理系女生Stella，她意外坠落在了一个外星星球上，你是她唯一能联系的人。为此，米哈游早在2018年开始涉足AI领域，成立了“逆熵研究部”，拥有自研AI大模型Glossa。直到昨天，米哈游5亿成立无定谷科技公司，创下其在AI领域投资之最，足见其布局人工智能的雄心。此外，官方也整大活，蹭马斯克热度，让Grok Ani体验游戏，AI女孩对话AI女孩。
博客
o1核心贡献者离职后首发声：AI是史上最强杠杆，超越人力、资本和代码
07-17 35
但在现代社会，推动科学进步变得越来越复杂，前沿技术的复杂程度可能远远超出任何单个人的能力，而人类的智力增长相对停滞，跟不上科学复杂性的增长速度。与传统杠杆不同的是，AI不仅能够复制和扩展人类的某项具体能力，更重要的是它能够学习、推理和创造，这使得它既可以作为独立的杠杆发挥作用，也可以与其他杠杆形式相结合，产生更强大的复合效应。如果你写了一个应用程序，第一个用户从中获得了价值n，那么当你睡觉时，第二个用户下载使用这个程序，同样获得价值n——你的输出翻倍了，而你并没有做任何额外的工作。媒体杠杆的原理类似。
博客
Transformer危！谷歌MoR架构发布：内存减半推理速度还翻倍
07-17 25
在三种策略共同作用下，MoR通过在解码每个token时直接进行潜在思考，路由机制让模型能进行自适应推理，突破了先前固定思考深度的限制，实现了参数效率与自适应计算的统一。首先采用的递归Transformer，相比通过多个独特层构建token的标准Transformer，其直接将模型划分为递归块，复用一组共享参数池。：将每个递归步骤视作 “专家”，基于隐藏状态计算分数，通过阈值选择合适的token继续计算，采用层级过滤，优先为复杂token分配计算。
博客
人类击败OpenAI守住编程冠军！10小时激战两次反超，AI最后关头功亏一篑
07-17 19
10小时激战！人类最后关头实现超越，获得编程总决赛冠军~而原本始终保持领先优势的OpenAI，最终屈居第二。在刚刚落幕的AtCoder世界巡回总决赛上，12名决赛选手两天时间里展开角逐。结果过程还挺紧张刺激，尤其前两名的争夺上。OpenAI 在大部分比赛中都排名第一，本以为就这样了。人类开始反超，结果还剩1小时20分钟的时候，OpenAI又重新领先。不过还是没有坚持到最后。OpenAI总裁Greg Brockman发来贺电，中间还夹带私货：OpenAI位居第二。此时获得冠军的人类表示要累死了。网友：你看，模
博客
Claude Code出逃的主创又回来了！Anthropic：过去俩月我收入暴涨5.5倍，别走
07-17 24
以及，即便有重要角色在Anthropic和Cursor之间横跳，但不可否认的一个事实，那就是由于Cursor的AI功能在很大程度上由Claude系列提供支持，因此其收入增长也惠及Anthropic。官方表示，今年2月Claude Code正式发布，并在发布后的几个月里逐渐融入主流开发工作流程，包括与GitHub、GitLab、VS Code和JetBrains等IDE的集成。当时，Boris表示，他俩去了新公司以后，将致力于开发“类智能体”功能，即自动执行涉及多个步骤的复杂编程任务，以及其它产品。
博客
教程 | 如何做出 X 上爆火的 AI 蓝图动画
07-17 10
我们希望能给每个恐龙的背景加上自定义的大色块以及对应的点缀色，赋予恐龙不同的性格。使用风格代码来控制生成的最大好处是： 如果你想画一系列风格完全一样的图（比如一本绘本），用同一个代码就行了，非常方便省事。X 和 INS 上有很多优秀的创作者会经常分享自己发现的 sref code, 这是我们喜欢的三位，基本都是日更选手。一些小经验：Prompt 部分可以详细一些，出来的效果会更好，毕竟风格代码只控制其中风格的部分。接下来，我们只需要替换恐龙的品种以及想要的配色即可，剩余图片的prompt 如下。
博客
500美元刷新SOTA！训练成本砍到1/200，华人团队重构视频生成范式
07-17 9
与此同时，Pusa V1.0所需的参数更新数比Wan-I2V少10倍以上，这表明Pusa仅仅关注与时间相关的模块，从而保留了基础模型的先验知识。与其他会破坏基础模型架构的微调模型不同，Pusa采用VTA机制，从而实现最小、非破坏性的优化，将时间步长从标量扩大到矢量。这样就允许模型能对每帧的去噪进度和时间位置进行精细控制，从而更好地模拟现实中帧的时序演化，使生成的视频在动态表现上更连贯、自然。模型更小，意味着它能更快地进入每个人的电脑，而只有当技术真正服务于每一个创作者的时候，它才成为了真正的“菩萨”。
博客
苹果向英伟达生态妥协了！MLX框架主动适配CUDA
07-17 18
到了2019年，开发者社区又开始集体表达不满，甚至有大批请愿者发起签名，呼吁Tim Cook与英伟达和解，但至今苹果依然未恢复对新款英伟达GPU的macOS支持。：英伟达硬件在学术研究和大规模计算中应用广泛，支持CUDA能让开发者在Mac上本地开发测试，随后无缝部署到配备英伟达GPU的服务器或超级计算机上。彼时，苹果已先后发布M1、M2、M3系列芯片，MLX的出现，正是为了借助自研芯片的算力优势，填补苹果端侧AI生态的空白。为了满足开发者的需求，一直以“圈地自萌”著称的苹果，如今也不得已拥抱CUDA。
博客
深谋科技独家发布真正为人类服务的新一代人形机器人核心技术「声波传感 · 意念控制 · 高精视觉 · 类脑智能」
07-17 13
整套系统可根据不同SAW频率扰动，实现温度、湿度、气体、压力、磁、生物信息、六轴IMU等不同物理量的智能传感，结合神经网络人工智能分类识别算法，具备MHz级高频响应、强抗干扰、无线无源结构与生物兼容性，在提升感知灵敏度的同时显著降低功耗，不止是“看见”动态，更能在“看见中控制”，在变化中持续修正跟踪路径。认为，当前依赖海量数据与无限参数的大模型，虽在语言、文本和视觉方面取得成功，也展现出一定的推理能力，但其高能耗、低效率的学习特性，与人类所具备的高效、可泛化的高级智能仍存在很大差距。
博客
云计算一哥，刚刚重新定义了AI Agent的玩法
07-17 720
提供低延迟的无服务器环境，支持会话隔离，兼容任何代理框架（包括开源框架），能够处理多模态工作负载和长期运行的Agent。从技术角度来看，S3 Vectors推出了一种叫“向量桶”（vector buckets）的新存储类型，它有专门的API接口，让我们可以存储、访问和查询向量数据，而且不需要自己搭建任何基础设施。以上便是此次发布的主要内容了，整体来看，亚马逊云科技再一次从基础设施、模型框架以及应用三个层面来了个“大焕新”，而这一次的主角，毫无疑问就是AI Agent。
博客
1万tokens是检验长文本的新基准，超过后18款大模型集体失智
07-17 14
实验选取了保罗・格雷厄姆散文(PG essay)和arXiv论文作为背景数据（干草堆），针对其核心主题设计问题，并为每个问题生成8个与主题匹配且未出现在干草堆中的 “针”，通过5种嵌入模型计算“针-问题”余弦相似度，分为高、低相似度两组。实验设置了三种条件：基线（仅含“针”，无干扰项）、单一干扰项（“针”+1条随机位置的干扰项）、多重干扰项（“针”+4条随机分布的干扰项）。结果显示，针-干草堆相似度对模型性能的影响不统一，不同模型敏感度存在差异，但整体上随着输入长度增加，各相似度条件下的模型性能普遍下降。
博客
小哥硬核手搓AI桌宠！接入GPT-4o，听得懂人话还能互动，方案可复现
07-16 23
具体来说，就是分别确定三个肌腱在2D平面上的主拉力方向，形成一个总和为零的三角形，然后控制向量投影到每个肌腱的主轴上，计算调整每个肌腱的长度，并与目标方向对齐。此外关于触手的移动控制，为了简化控制过程，触手的三个肌腱，也就是一个3D空间被缩小到两个维度，这样就能直接使用电脑触控板作为输入。，通过模仿章鱼的抓取策略，能自动适应目标物体的尺寸和形状，并抓取尺寸相差超过两个数量级、重量达自身体重260倍的物体。另外配备的摄像头，可以有效听取用户对话，实现人工交互，也能更好地传递“宠物”的陪伴感。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值