英伟达4B小模型击败GPT-5 Pro！成本仅1/36

转载 于 2025-12-08 14:05:17 发布 · 992 阅读 · 25 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247852220&idx=3&sn=75ec24e8a15628952a5014c36b43762a&chksm=e9505b8d8e30c1415c1a72ac9e662b0e16481fcbb040879f03124bb600cef28a5413148269af&scene=126&sessionid=0
文章标签：

#gpt #人工智能

闻乐 发自 凹非寺
量子位 | 公众号 QbitAI

英伟达小模型持续获胜。

ARC-AGI 2最新成绩，4B小模型NVARC以27.64%的公开榜成绩力压GPT-5 Pro 18.3%登顶榜首。

且每任务成本仅20美分，大约是GPT-5 Pro单任务成本（超过7美元）的1/36。

据官方分析，此次NVARC夺冠的亮点在于零预训练深度学习方法，没有依赖大规模通用数据集进行前期预训练，规避了预训练模型的领域偏见、数据依赖等问题。

而ARC-AGI 2确实是一个消除了与公共训练数据重叠的更高难度测试，主要是看测试模型能否高效地获取超出其训练数据的新技能。

成绩出炉后，官方访谈到了NVARC团队的Jean-Francois Puget和Ivan Sorokin，进行技术剖析。

快来看看“性价比之王”是如何“练”成的？

不靠参数堆料

英伟达的策略是将复杂推理移至离线的合成数据管道，训练能在评估时快速运行的较小模型。

简单来说就是大规模合成高质量数据，然后对现有模型进行优化，并且将昂贵的计算工作转移到离线进行。

由于Kaggle比赛对计算资源限制非常严格，团队意识到，他们不能直接使用那些需要超强算力的大型LMM来进行复杂的、一步一步的推理和代码生成。

因此他们改变了思路，决定将最烧钱的计算工作转移到离线完成。比如利用GPT-OSS-120B来大规模制作高质量的合成谜题。

团队从H-ARC、BARC数据集中搜集了现有的ARC谜题数据，然后将简单的谜题混合起来，生成更复杂的新谜题。

为了确保数据质量，他们将复杂的推理管线拆分成不同的阶段，每个阶段都可以独立验证。

通过这种方式，他们建立了一个含320万+增强样本的合成数据集，其中每个样本最多有7对输入/输出。

这里忍不住提一嘴，哈萨比斯刚强调了Scaling Law的重要性，那么合成数据的Scaling怎么不算呢（doge）？

言归正传，NVARC核心的推理模块以改进版ARChitects方法为基础，选用小参数模型Qwen3-4B，通过对话式模板简化谜题理解。

训练时借助NeMo RL框架和Megatron后端进行监督微调。

不过，让模型取得优异成绩的关键一步在于测试时微调（TTFT）。

针对ARC-AGI-2“每个任务都是全新规则”的特点，NVARC引入了LoRA微调技术，并且是针对每一个问题都进行微调，让模型在做题前快速适应。

而对ARChitects方法的改进在于解码阶段DFS算法做了批处理优化，修复结果非确定性问题。

同时统一了8种数据增强操作评估候选解，最终在公开榜获得了27.64%的分数。

在竞赛后期，团队还应用了“少即是多”的TRM方法，尝试与Qwen3-4B集成补充分数，虽然有一定提升，但受各种限制并没有大幅优化。

那么问题来了，有人会说这样训练出来的小模型不就是做题机器吗？哪里比得上全面发力的超级大模型？

但更值得关注的或许不在于模型本身，而在于实现突破的方法。

在特定领域任务中，小模型经过针对性优化，性能并不逊色，再加之成本、速度、适配性与领域聚焦优势，它们已经在诸多场景崭露头角。

将正确的方法用在正确的地方，将会实现更大的价值。

借用这位网友所说，模型或许应该被设计得更加“敏捷”。

论文地址：https://drive.google.com/file/d/1vkEluaaJTzaZiJL69TkZovJUkPSDH5Xc/view
参考链接：
[1]https://developer.nvidia.com/blog/nvidia-kaggle-grandmasters-win-artificial-general-intelligence-competition/
[2]https://arcprize.org/blog/arc-prize-2025-results-analysis
[3]https://www.kaggle.com/competitions/arc-prize-2025/writeups/nvarc

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

— 完 —

🔊 锁定12月10日周三，AI圈一年一度绝对不容错过的盛宴马上就要来了——MEET2026智能未来大会。👉 了解详情

‍

    📍 重磅GenAI对话+前沿Agent圆桌，深挖年度最热议题

    📍 近三十位来自学术界、产业界与前沿创业一线的重量级嘉宾

    📍 「人工智能年度榜单」与「年度AI趋势报告」正式发布

一键报名线下参会，一起来AI认知跨年 ❤️‍🔥

🌟 点亮星标 🌟

科技前沿进展每日见

QbitAl
关注
博客
乐奇Rokid这一年，一路狂飙不回头
12-10 44
当一家创业公司把这条路径先走通，并且让更多厂商学习并采纳，它承担的就不只是一个品牌的位置，而是一个产业的推进力，这种能力，是过去十年中国科技公司最稀缺、也最具竞争力的部分。满地都是新品，满眼都是入局者，智能眼镜正从极客玩具变成一门真正的抢手生意，在这场从年初卷到年尾的百镜混战里，有一家创业公司始终稳稳站在「节奏」的前面。调波导角度的方式会导致用户需要翻着眼看；的事儿，乐奇Rokid很早就意识到，近视用户是一个巨量群体，但市面上的方案，要么是容易松动掉落的叠加镜片，要么是很容易配错视力参数的定制镜片。
博客
Linux之父：Vibe编程是入门编程的绝佳方式
12-10 24
微软积极拥抱开源，加入Linux基金会成为白金会员，Azure云平台为Linux提供原生支持，推出Windows Subsystem for Linux（WSL），让用户能在Windows系统上运行Linux发行版。2001年，时任微软CEO的史蒂夫・鲍尔默，将Linux形容为“癌症”，称其会侵蚀微软所坚守的知识产权体系。他自己就吃过亏，之前用非ECC的电脑跑当时最新开发的Linux内核，明明是内存出错，却误以为是软件bug，浪费了好几天排查，最后发现白忙活一场……如今，微软与Linus的关系已今非昔比。
博客
这是2025年度AI十大趋势，4个维度10大结论，“开源AI进入中国时间”
12-10 357
以腾讯推出的ima知识库为例，它允许用户将碎片化的资料、笔记、网页内容构建成个人或团队的专属知识库，并与大模型深度结合。自变量机器人作为全球具身智能基础模型的第一梯队代表，其自主研发的“Great Wall”模型系列已实现从感知到高精度操作的端到端控制，在复杂任务中展现出了强大的泛化能力，标志着中国力量在具身智能这一前沿领域的实质性突破。报告指出，在AGI这一关乎未来的领域，中国正通过开源生态、自主芯片、国家算力网络与产学研协同，走出一条独特的“中国路线”，在全球AI格局中扮演日益重要的角色。
博客
2比特复数模型媲美全精度！北大通用框架让大模型在手机上也能流畅运行
12-10 21
它利用单位圆上的四个四次单位根{+1, -1, +i, -i}作为码本，相比于实数域的二值（+1, -1）或三值（+1, 0, -1）量化，复数域的这四个点充分利用了2-bit的编码空间，具有更高的信息密度和更好的对称性。Fairy2i的出现，不仅解决了预训练实数大模型难以高效量化的难题，还通过复数域技术充分挖掘超低比特量化的潜力，让大模型在边缘设备上的流畅运行成为可能。这种策略不仅完美避开了从零构建复数模型所需的庞大算力消耗，且在量化前保持模型的推理结果完全不变，为后续的超低比特量化提供了完美的起点。
博客
深大团队让机器人听懂指令精准导航！成功率可达72.5%，推理效率提升40%|AAAI2026
12-10 42
为验证UNeMo在复杂场景的适应能力，团队重点测试其预探索机制对长距离导航鲁棒性的提升，在val-unseen数据集上对比UNeMo与NavGPT2在不同路径长度下的表现。这表明UNeMo的协同训练架构并非局限于LLM-based基线，而是能灵活适配不同类型的导航系统，在不同任务场景中释放价值，验证了其强可拓展性。从核心场景的性能与效率双优验证，到复杂场景的鲁棒性突破，再到跨基线、跨数据集的可拓展性验证，层层递进展现架构优势。论文链接：https://arxiv.org/abs/2511.18845。
博客
5天连更5次，可灵AI年末“狂飙式”升级
12-10 77
再比如数字人2.0功能的迭代，对于创作者而言，只需要上传角色图，添加配音内容并描述角色表现，就可以得到表现力生动的“自定义数字人”，更令人兴奋的是，视频内容最长可达。基于MVL理念，在最新的一次迭代中，可灵O1将所有生成和编辑任务融合于一个全能引擎之中，为用户搭建全新的多模态创作流，实现从灵感到成品的一站式闭环。
博客
读懂2025中国AI走向！公司×产品×人物×方案，最值得关注的都在这里了
12-10 442
AI Agent在这一年实现了从“被动应答”到“主动规划执行”的质变，技术突破使其能独立完成复杂任务，从而从概念验证步入规模化商业应用起点，引发各行业变革浪潮，制造、金融、办公、生活等诸多领域，真正开启了智能体时代。一端是深入日常沟通、搜索、创作的智能助手与国民级应用，另一端是嵌入企业工作流的智能协同平台和多维数据工具，把文档、表格、知识库与大模型打通，让个人与组织都在不知不觉间把工作方式换了个底座。最终，以真实数据为基础，结合量子位对数百家AI公司的深入调研，以及数十位行业知名专家的意见，榜单结果出炉。
博客
微软急了！紧急腰斩AI产品销售指标，内部拉响红色警告
12-09 79
这就导致一个很尴尬的问题，用户付给微软的钱，很大一部分实际都进入了英伟达的腰包，但Copilot的毛利率其实远低于传统软件，所以微软在AI上的收益并不明显。值得注意的是，虽然AI产品的增长目标有所放缓，微软整体的AI业务还是处于增长趋势，只不过并非来自传统企业，而是OpenAI这类AI公司。不难看出，微软现在AI产品销售疲软，无论是面向企业的AI服务，还是面向普通消费者的AI功能，都通通卖不动，的态度，先发布再说，有问题再修改，虽然抢占了时间优势，但却消耗了用户对微软产品质量的信赖。
博客
起底“豆包手机”：核心技术探索早已开源，GUI Agent布局近两年，“全球首款真正的AI手机”
12-09 411
他还展示了告诉豆包手机助手从其当前所在位置打辆无人车去某公园，只见它会获取其GPS位置，知道哪些无人车运营商覆盖其所在区域和目的地，并完成路线规划，接着打开打车软件逐步点击应用界面，询问其具体要去公园的哪个位置，并根据最近的上车点完成叫车。博主推测Pro所使用的模型，可能用的是thinking模式下的Agent，亦或是做了更多post-train的升级版，框架上做了上下文工程。但不可否认的是，它已经展现出下一代手机的可能：手机不再是被动操作的工具，而是能主动理解意图、独立完成任务的伙伴。
博客
稚晖君5000台机器人量产下线！创业仅3年，订单数亿元
12-09 103
在奇瑞汽车的供应链企业，精灵G1机器人则承担料箱转移和物料分拣工作，配备的8路高清相机和激光雷达组成360°立体感知系统，即使在光线昏暗或堆叠复杂的环境中也能精准作业。相比G1的升降导轨式躯干，G2结构更紧凑，拥有三自由度的腰部结构，可以完成弯腰、扭转等复杂动作，更贴合工厂的实际作业需求。与人形机器人不同，精灵系列放弃了双足行走，转而采用轮式底盘，换来的是更高的稳定性和工业适用性。此外，智元还与百事可乐合作，推出了品牌首个人形机器人代言人”百事蓝宝”，在发布会上与贝克汉姆同台，表演了太极。
博客
摩尔线程新一代GPU架构10天后发布
12-09 153
作为国内首个聚焦全功能GPU的开发者盛会，大会以“创造、链接、汇聚（Create, Connect, Converge）”为核心理念，直面技术自立自强与产业升级的时代命题，旨在汇聚全球AI与GPU领域开发者、技术领袖、产业先锋及行业数智化转型实践者，共同探索国产算力的突破路径，擘画自主计算生态的崭新蓝图。摩尔线程诚邀全球开发者、合作伙伴与行业推动者共聚北京，在MDC 2025这一开放、协同、共创的平台上，深度交流、链接资源、共筑未来，携手推进国产智能计算生态的持续繁荣与演进。
博客
论文自动变漫画PPT！Nano Banana同款用秘塔免费生成，还有一对一语音讲解
12-09 815
这个模块是专门给PPT和知识讲解准备的，进来之后，会看到下面这样的界面，可以通过附件上传自己自备的学习资料，如果是在线资源也可以直接粘贴链接，实在没有的话也可以在框中输入关键词来搜索。的文件，还支持音视频等非文本内容，用起来就像谷歌的另一款产品NoteBookLM，当资料全都上传完毕之后，会看到AI生成的总结。需要说明一下的是，这里是为了方便详细展示对塔子老师的课件进行了拆解，实际上的课件支持自动播放，还配有语音讲解，如同真的在上课。
博客
梁文锋，Nature全球年度十大科学人物！
12-09 81
2024年，在日本东北部的千岛—堪察加海沟底部，在使用载人潜水器“奋斗者号”探险期间，杜梦然和她的团队发现了地球上已知最深的基于化学合成的生命群落，这些发现挑战了目前关于深海极端生命和碳循环的模型。KJ Muldoon身患无法处理蛋白质的超罕见病，在六个月大的时候接受了首例高度个性化的CRISPR基因编辑疗法，这标志着基因医学向“一人一药”的精准时代迈出关键一步。凭借出色的“性价比”策略，DeepSeek模型不仅把模型成本打到了行业难以置信的水平，还把国产大模型在全球社区的技术声量直接拉满。
博客
看完最新国产AI写的公众号文章，我慌了！
12-08 922
请以合法的JSON格式返回结果，结果是一个list，每一个list元素对应一个目标检测结果dict，dict的key由label、bbox_2d组成，值分别为检测到的猫的品种和结果坐标框。首先，它会根据这篇论文的内容，先处理文字的部分，将文章分为了引言、核心问题、破局之道、实验结果、深入分析、结论与展望这六大部分，是符合一篇论文解读文章的逻辑。GLM-4.6V的思考过程同样是调取了各个财报中的关键图表和数据，然后先是汇总成了一份对比表格，再对关键指标做了逐一的解析，最终给出了关键性结论。
博客
小冰之父李笛智能体创业，公司取名Nextie！陆奇是股东
12-08 63
2014年，李笛出任小冰团队负责人，主导推出微软小冰AI聊天机器人，并同时负责Bing中国搜索业务及小冰在中国、日本、美国、印度等多个国家和地区的产品线。简单来说，群体智能不追求单个模型的预训练最大化，而是让一群各有所长的AI一起「开会」，在持续的辩论与思维碰撞中，逐渐逼近更合理的答案。现场展示来看，李笛介绍，上次创业，他们通过情感计算框架、全双工语音交互、多模态感官等技术路径，教会了小冰什么是「情感」。，之前周力的公开身份是小冰公司首席架构师，但周力变更后更进一步的董事会任职，目前未得而知。
博客
100万亿Token揭示今年AI趋势！硅谷的这份报告火了
12-08 169
一旦穿上，他们就很难换掉，即使后面有更好的模型出现。典型的例子就是5月发布的Claude 4 Sonnet和6月发布的Gemini 2.5 Pro，其用户留存率在5个月后还保持着40%的高水平，而这也正是取决于它们在工具调用和推理能力上取得的突破。2025年11月，Anthropic在该领域的市场份额首次跌破60%，而在7月以来，OpenAI的市场份额已从约2%增长至近几周的约8%。市场现在正分化为两类，用户要么倾向于一个新兴的、强大的中型模型类别，要么将其工作负载整合到最强大的单个大型模型上。
博客
哈萨比斯：DeepMind才是Scaling Law发现者，现在也没看到瓶颈
12-08 75
AGI作为一种仍处于理论阶段的AI版本，要展现出类人的智慧能力，Scaling Law的大量数据和计算资源的投入，无疑是一种合理的解决途径。有趣的是，往前追溯Scaling Law的历史，公认开山立派的是2020年的OpenAI，转折则出自2022年的谷歌DeepMind。8月份谷歌上线的世界模型Genie 3，可以让用户生成一段交互式视频，然后像在游戏里一样在视频中自由走动，并保持长达一分钟的连贯性。从基础模型Gemini开始，就主打多模态定位，可以无缝处理图像、视频、文本和音频，并生成相应类型的输出。
博客
本周三！量子位的这件大事就要来了｜MEET2026
12-08 252
这几位大咖聚在一起，探讨的不仅是Agent的技术架构，更是如何让AI从陪聊进化为真正的超级助理。前者， 是由量子位智库梳理总结出的2025年度AI代表进展，并且展望接下来能预见的技术趋势，覆盖从算法数据算力的技术底座，到产品解决方案，乃至行业应用的发展走向，总之关于AI的一切，都可以在这份报告一览而尽。而且现在大会的内容已经可以剧透，真就是光看嘉宾就知道有多重磅了，包括清华大学张亚勤、孙茂松、智源研究院王仲远等学术界的大咖，国内产业界有百度、小米、商汤等，国外有谷歌云、亚马逊云科技、高通等。
博客
机器人集体到香港户外极限挑战，狗比人强
12-08 1028
在吊桥任务中，尽管多数队伍能在遥控的辅助下通过不连续的木板，但几乎没有队伍能在无辅助的情况下“把绳子拉下、把木板当桥板用”，这暴露出当前机器人在。这次全户外的环境也给机器人的感知能力带来了不小的挑战：来自光照、风、阴影等细微环境变化的扰动会不断累积成误差，成为影响任务成功率的关键变量。此外，相比于室内，在信号弱的野外，机器人更依赖自身IMU（惯性测量单元）、激光雷达与本地推理能力，难度再上台阶。在比赛中，上一秒香蕉皮的位置还很准确，但当机器人准备下爪抓取时，一阵风吹来，香蕉皮被吹偏，感知瞬间被打乱。
博客
英伟达自毁CUDA门槛！15行Python写GPU内核，性能匹敌200行C++
12-08 49
是一套全新的虚拟指令集，它在高级语言和硬件之间加了一层抽象，确保基于Tile编写的代码能在不同代际的GPU上运行，从当前的Blackwell到未来的架构都能兼容。过去能熟练驾驭CUDA的开发者是稀缺资源，会写Python的人一抓一大把，但能把代码优化到跑满Tensor Core的专家寥寥无几。不过英伟达也考虑了后手，CUDA Tile IR提供了跨代兼容性，但这种兼容性是建立在CUDA平台之上的。开发者写的代码确实更容易移植了，但移植的目标是英伟达自家的不同代GPU，而非竞争对手的硬件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值