新版Llama 3 70B反超405B！Meta开卷后训练，谷歌马斯克都来抢镜

于 2024-12-07 12:20:10 发布
阅读量116 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： llama 人工智能
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247765124&idx=2&sn=b72b6e9903a624b82027a130ed9b39d0&chksm=e9d76f4a75065542f55baa37218319fe6833e8c357432a90e2d445cf083b1a9d2fe21a8520a7&scene=126&sessionid=0
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

OpenAI“双12”刚进行到第二天，就把大模型圈搅得好不热闹！

一边是Meta没预告就发布了Llama 3.3，70B版本就能实现以前405B的性能。

f316fc773689447cddf06291975affdc.png

另一边谷歌的Gemini也上线了新的实验版模型，再一次登上大模型竞技场榜首。

69a159120ea553f09b0b07782d4fdb8c.png

有网友感叹，o1、Llama 3.3和新版Gemini接连发布，马斯克的Grok3也要来，还有GPT-4.5初露端倪……这简直是最棒的一个圣诞季。

83c8761ae24809bbf3464ab3cb1b3171.png

Llama 3.3：70B实现405B效果

Llama 3.3目前只有70B一个型号。

但在指令遵循（IFEval）、数学（MATH）、推理（GPQA Diamond）等领域，水平都超过了七月份发布的Llama 3.1 405B。

在语言（MMLU）、代码（HumanEval）、长文本和多语种能力上，成绩也和Llama 3.1 405B比较接近。

而在工具使用（BFCL）上，和405B的差距则显得稍大一些。

9723a15ab67191d8fcf79b43fe16cfdb.png

不过，Llama 3.3的使用成本要比Llama 3.1 405B低得多。

虽然Llama本身是免费的，但是各个大模型平台的服务价格也可以作为衡量成本的一个参考。

在Meta合作的平台当中，Llama 3.3最便宜的价格是0.1/0.4美元每百万输入/输出Token。

而Llama 3.1 405B，则是1美元每百万输入token，是Llama 3.3的10倍，输出token为1.8美元，是Llama 3.3的4.5倍。

b45a944766f365ceaf6c361209f1320a.png

Meta生成式AI团队领导者Ahmad Al-Dahle表示，Llama 3.3能用70B实现405B的效果，主要是“运用了后训练技术的最新进展”，并点名其中包括在线偏好优化（online preference optimization）。

6ca8eaac233eec72e836d790c0ee64a7.png

Meta AI官方账号也提到，Llama 3.3的进步归功于新的对齐过程和在线强化学习技术的进步。

d0294109346a8c45a023848fa5e7b8dc.png

目前，Llama 3.3的模型权重已在官网和Hugging Face上开放下载。

208292bccee7c9f9f844e4514c2bb1f5.png

Gemini迎来周岁生日

Gemini 1206上线的这天，刚好是Gemini的一周岁生日。

不过，从节奏和以日期命名的方式来看，Gemini更像是一次例行更新（上一个版本是1121）。

当然成绩还是很不错的，直接登上了lmsys大模型竞技场的榜首。

23cf0ad9b020fc5cc41b59e54d16a234.png

而且不只是总成绩夺冠，困难提示词、代码、数学、创意写作等各个单项排名也都是第一。

877939f0c0376fbb0b31650556aa5612.png

实际上，Gemini此前有个1114版本，也当了一周的“榜一大哥”，后来被更新的GPT-4o给比了下去。

现在的最新版本，又让Gemini重新回到了榜单上的王座。

e7909958c224bb6e2d67904eeb1360d1.png

此外，谷歌AI Studio产品负责人（原OpenAI开发者社区主管）Logan介绍，Gemini 1206拥有2百万token的上下文窗口，目前可通过谷歌AI Studio和Gemini API免费使用。

826c02bdb98b2668f7bb230e96b8234e.png

谷歌首席科学家Jeff Dean表示，取得这样的成绩是对Gemini生日最好的庆祝方式。

221eadfce6d12c4f14f5cf4c5e97e229.png

不过也有网友给谷歌泼了盆冷水，表示o1还没出现在这个榜单上，而且GPT-4.5就要来了，谷歌第一的位置恐怕很快又会被OpenAI夺走。

9834fb9641ad48a2ba0059bd3f945833.png

One More Thing

除了谷歌和Meta，马斯克xAI也被盛传即将发布Grok 3。

有网友发现，正在测试的Grok 2 mini消失了，认为这是要发Grok 3的征兆。

fa564047bb758af43a44b7e22ee09ee2.png

除了对Grok 3的猜测，还有一条更确定的消息——此前要充会员才能用的Grok，现在可以免费用了。

不过免费用户用量比较有限，每两小时只能处理10条消息，而图片分析一天只能处理三张。

e84666f196286a13ac654326cfde0038.png

有意思的是，我们试了试询问Grok自己，它也表示Grok 3计划在这个月上线。

但抓马的是，点进后面引用的消息源，发现这名博主也是问Grok之后发的帖子……

2bb27b9c94268e2fe7be95bcecf26a7a.png

那么，在这个发布密集的十二月，你最钟意或者最期待哪一款产品呢？

参考链接：
[1]https://x.com/AIatMeta/status/1865079067390956006
[2]https://x.com/Ahmad_Al_Dahle/status/1865071436630778109
[3]https://x.com/lmarena_ai/status/1865080944455225547

— 完 —

MEET2025大会在即

倒计时一周 ⏰ 欢迎报名

🌟 一年一度的科技顶流盛会就要来了！

☄️ 两场GenAI Talk，一场具身智能圆桌，直指时下热门议题！工业界学术界顶流大咖齐聚，还有两份关键参考「年度AI趋势报告」、「2024人工智能年度评选」榜单即将发布！了解详情

🚀 点击报名参会，12月11日，期待与您一起预见智能科技新未来！

86cec98af8643ae8a48f4e71c3d7d0f1.png

b1fbdb2992b3e40c716c388a5cb83084.png

a8d6420a52a881a1626d3ccd53020621.png

b4565bf5c5d11946e85b787a8260b26d.png

e76405310544848f5b4508b46eefb82a.png

a15af627cedcb6dd33e7553521e245f6.png

870dd23f6e65d40a032704c899a02c5f.png

64cbdde66b89f4ba8e51a0f9bdf07934.png

b55398abbadded0be33ad638361c31fd.png

e0bf425dc962d0cc3396b16c2ea2a7a0.png

82ae24177993c234073f353dbdc18722.png

77b2464f4da24907d074a3d50c01fc62.png

c978677c31187e25fc9d719e17481255.png

5feb448e3088a59c2bb2af201971b50e.png

31d9e3ef36ffdd0875c05ad64982c2dc.png

32123cd4d73ff0a7669d07f56c0be0d2.png

1c86e7e0ba8fba1808ce0fdf5862e588.png

c03766ad0bc76ec1b8def1cb3d6aead4.png

63c992314e114402c9c07694b26517a2.png

f12e0d51986c2393888830877a395066.png

0cadd61729f2a853bc948b17c37ae108.png

cdd98a78e4ad17e39d67f26f5a7a3242.png

outside_default.png

左右滑动查看最新嘉宾阵容

outside_default.png

点这里👇关注我，记得标星哦～

QbitAl
关注
博客
AI教父Hinton对话上海AI Lab周伯文：多模态聊天机器人已经具有意识，让AI聪明和让AI善良是两件事
07-26 9
2016年，周教授带领团队在国际上首次提出与下游任务无关的自注意力与多头机制等表征新机理与新方法，奠定了Transformer架构的理论基础之一，推动通用人工智能、语言大模型表征新进展，是实现生成式AI的重要里程碑。通常，当你抱持这种想法并开始研究自己的方法时，最终你可能会发现大家那样做是有原因的，而你的方法是错的。当你形成关于这些词的理解时，你常常取一个平均化的概念，认为水平和垂直差不多，但这完全是错的。所以这并非一个真正的科学问题，而是从一个错误的心理状态模型出发导致的问题。，这是我们都想向您学习的。
博客
超大模型推理加速2.18倍！SGLang联合美团技术团队开源投机采样训练框架
07-26 8
同时，将 SGLang 的speculative-eagle-topk固定为8，将speculative-num-draft-tokens固定为10，这样可以使用 tree attention达到更高的接受率。目前开源社区中，尚无能够支持超大尺寸模型训练且与SGLang深度结合的框架，而这些工具层面的不足，直接导致此类模型的部署面临巨大挑战。它通过训练一个专门的轻量级草稿模型来准确预测较大目标模型的token分布，从而实现高接受率和显著的性能提升。： 训练框架的完整源代码，包括TTT和数据处理的实现细节。
博客
大模型“天梯赛”来了，让Agent在Kaggle真实任务中进化｜佐治亚理工、斯坦福开源
07-26 7
通过模拟真实世界的挑战，并提供一个可以不断学习和进化的环境，MLE-Dojo将推动AI从一个“解题工具”向一个真正的“自主工程师”迈进，并最终对整个科学研究和工程领域产生深远影响。强大的性能往往伴随着高昂的计算成本。但有趣的是，也存在像DeepSeek-r1这样，在实现有竞争力的性能的同时，展现出更高成本效益的潜力，这为未来模型的优化指明了方向。如下图所示，Gemini-2.5-Pro不仅性能领先，其在代码验证和执行中的总体失败率也是最低的 ，这表明其生成的代码不仅效果好，而且更加稳健可靠。
博客
刚刚，这家帮某爆款潮玩出海的企业，发布首个全球营销AI Agent
07-26 8
钛动科技CEO李述昊告诉量子位，钛动的定位其实是B2B2C，即服务企业客户，但最终目的是海外消费者，因此积累了海量的全球化场景和营销真实历史行为数据，这构成了钛动深厚的行业壁垒，也成为此次Navos训练的核心。以往大众对于营销的感知，还是纯人力、纯经验，以及庞杂的数据分析。
博客
国产GPU跑满血DeepSeek，已经可以100 tokens/s了！
07-26 539
因此，摩尔线程开发了独有的“零中断容错技术”，这是保障工厂稳定运行的“安全生产协议”。从最初只能加速3D图形的“显卡”（VGA Card），到开放编程接口、允许开发者创造无限可能的“现代图形处理器”，再到被广泛应用于超算、深度学习、区块链等领域的通用计算平台，GPU的每一次飞跃，都源于其通用性的拓展。MUSA架构的先进性，确保了摩尔线程的每一颗芯片都不是孤立的算力单元，而是一个高度协同、管理高效的“作战小组”，有效提升每颗芯片有效算力，为整个AI超级工厂提供了坚实的、可扩展的算力底座。
博客
Hinton上海演讲：大模型跟人类智能很像，警惕养虎为患
07-26 8
如果一个词的造型变形，它和另一个词的“握手”方式就不一样了，这里就有个优化的定义，如果一个词发生变化那么怎么和下一个词连接，这也是人脑或者神经网络如何理解意思，这也有点像蛋白质之间的组合方式，氨基酸变换组合方式后就是不同的蛋白质。在1985年时，我提出了一个非常小的模型，想把这两个理论结合在一起，去更好理解“人类是如何理解一个词的”，每一个词我都放了好几个不同的特征，然后把前一个词的特征记录下来，就能预测下一个词是什么、进而再预测再下一个词。在这个过程中，理解是第一位的，只有在理解的基础上才能进行学习。
博客
80万人排队求码后，Lovart功能升级放开用！果然是顶流设计Agent，第一天鲨疯了
07-26 540
换句话说，传统的UX以屏幕和界面为中心，用户每次操作都从零开始，产品只根据预设流程做出反应，几乎不记住用户的历史和偏好。而AX则以“关系”为核心，软件像一个智能助手，持续记住用户的目标、偏好和历史，主动推送下一步建议，随着使用不断进步。当你亲自上手体验的时候就会发现，Lovart在创作的时候并不是简单的用户输入指令，然后它直接给你成品，而是尽可能把选择权控制权交给用户。有一说一，它不只是一个“能改图”的系统，而是真的像有一位设计师在随时倾听“甲方”需求，然后立即给出回应。只能说，这工具的玩法实在太多了。
博客
非Transformer架构落地之王，带着离线智能和原生记忆能力在上海WAIC浮出水面
07-26 535
现在大家用大模型，都会遇到这样一种情况：提的问题超出了Chatbot的训练数据覆盖范围，得到一句“很抱歉，我的知识截至于2024年x月，无法提供相关信息”，要么就是得到一顿瞎编的结果，令人头秃。所以，展台上玩游戏的灵巧手和自主学习的机器狗，不能当个逛展的乐子看，更深层次的，这能被视作是一种可能性的预告，AI或许能进入一个全新的进化阶段。这些机制组合在一起，让Yan 2.0 Preview完成了对记忆网络有效性的初步验证，模型不再是静态的大脑，而开始变成一个能生长的智能体。
博客
开源Qwen一周连刷三冠，暴击闭源模型！基础模型推理编程均SOTA
07-26 5
基础模型领域，Qwen3最新版本——Qwen3-235B-A22B-Instruct-2507（非思考版）也登顶全球开源第一，在GPQA（知识）、AIME25（数学）、LiveCodeBench（编程）、Arena-Hard（人类偏好对齐）、BFCL（Agent能力）等众多测评中表现出色，超越Claude4（Non-thinking）等领先闭源模型。一登场，再次刷新SOTA，在各项测评中一举拿下「全球最强开源模型」宝座，比肩顶级闭源模型Gemini-2.5 Pro、o4-mini。
博客
不怕被挖！谷歌晒IMO金牌团队大合照，还挨个圈出了联系方式
07-25 15
在此之前，他在谷歌大脑工作了3.3年，参与诸多大模型的研究，撰写累计约45篇论文，其中16篇一作，包括UL2、U-PaLM、DSI、Synthesizer、Charformer和Long Range Arena等，约20次产品发布，妥妥大牛一位。，在诺丁汉大学完成本科教育，后在剑桥大学获哲学硕士学位，并在牛津大学完成博士研究，她于2017年加入Google DeepMind担任研究科学家。，本科就读于浙江大学，硕士毕业于美国哥伦比亚大学，曾在滴滴、Meta就职，直到今年才加入谷歌。
博客
斯坦福大模型推理课免费了，谷歌推理团队创始人主讲
07-25 46
原来模型在生成答案时，通常只用最可能的那个词（贪心解码），但如果看看排在后面的几个可能的词（top-k替代词），会发现里面藏着一步步推理的路径。LLM是概率模型，其解码时追求的是在给定问题下推理和最终答案的联合概率最大，而我们想要的是给定问题下最终答案的概率最大，两者并不一致。方法，就是从这些top-k的解码路径中，选出那些有推理过程且模型信心高的路径，这样能让模型在各种推理任务上表现得更好，甚至。只不过，基于推理的输出通常不会出现在输出分布的优先级部分，因此无法通过贪婪解码（选择概率最高的输出）输出。
博客
WAIC抢先爆料：金融“黑马”大模型超DeepSeek刷新SOTA，论文已上线
07-25 701
相较于传统的SFT和RL，这种高效训练优化策略不仅能够缩短模型迭代周期、降低计算成本，更重要的是能够快速响应金融市场的动态变化，确保模型在风险控制、投资决策、合规监管等真实业务场景中，及时部署，自主“进化”。就像对于通用模型，人类专家们绞尽脑汁设置“人类最后的考试”，极限考验顶尖模型的性能，蚂蚁数科也希望在金融领域，能面向实际部署，更准确地评估模型的真实效用。从实验结果可以看出，Agentar-Fin-R1这样的垂直模型，是行业赛道中的“隐藏王牌”，在实际应用场景中往往能比通用模型更快落地、发挥作用。
博客
训练数据爆减至1/1200！清华&生数发布国产视频具身基座模型，高效泛化复杂物理操作达SOTA水平
07-25 16
一位是清华大学计算机系TSAIL实验室的二年级博士生谭恒楷（Hengkai Tan），主要研究方向是具身大模型和多模态大模型的融合和强化学习，是FCNet、ManiBox、AnyPo、Vidar的一作/共一，也是RDT具身大模型的作者之一，曾拿过全国青少年信息学奥林匹克竞赛（NOI）的银牌，全国84名。通过多视角视频拼接，将不同机器人操作时的多视角画面，巧妙地融合成统一分辨率的“全景图”，同时将本体信息、摄像头信息与任务标注一并打包整合，为海量互联网数据提供了共同对话的基础，实现了真正的多维度融合。
博客
GitHub官方版AI IDE公测！用自然语言写App，全栈应用1分钟生成
07-25 288
用户可以选择这些建议进行修改，也可以询问Copilot，或者自行修改。同时，用户还可以通过同步的GitHub Codespace和Copilot开发Spark，并且可以创建代码库用于团队合作，充分利用GitHub的工具和集成生态系统。用户不仅可以一键将Spark应用连接到GitHub仓库，完整保留所有修改记录，还能实现 Spark与代码仓库的双向同步，自动同步在任一端的改动。同时，Spark还支持代码、资产的预览与编辑，用户不仅可以查看自动生成的底层代码和数字资产，还能在代码层面进行修改、补全、替换。
博客
AGI是否需要世界模型？顶级AI专家圆桌论道，清华求真书院主办
07-25 13
圆桌论坛精彩纷呈、交锋密集，无论是从“相关性与因果性”的基本认知出发，还是围绕“token预测范式”的边界问题，亦或是对“原创能力”与“算力极限”的前景评估，专家们均展现出深厚的理论思考与实践视角。教授则补充称，虽然大模型底层是统计学习的结构，但在高层语义表达中已出现“因果性功能的涌现”，例如在处理逻辑推理、数学解题、文本论证等任务时，大模型展现出了“因为……教授率先提出疑问：文本是天然一维的，图像是二维的，视频再加一维时间，世界则是四维的。大模型的有效性是经验主义的，但它的问题也是根本性的。
博客
AI游戏创新大赛线下终极对决！世纪华通发起，ChinaJoy见证最终冠军诞生
07-25 7
世纪华通董事长王佶；从AI驱动的开放世界剧情生成系统，到重塑游戏创作逻辑、用户交互模式及产业生态，以及AI在教育、音乐、心理健康、法律等领域的创新实践，参赛项目覆盖了AI游戏和应用的诸多创新领域，展现团队在前沿科技领域的不懈探索。例如在上午的应用场中率先登台的海艺互娱所带来的SeaArt Film Video/Ultra2 Pro/Flow 2.0是一款专业的AI艺术创作应用工具，专注于CG制作、人物设计、图标创建和场景生成，支持PC、主机和手机多平台使用，为创作者提供强大的人工智能辅助功能；
博客
卡帕西点赞特斯拉餐厅，马斯克：兄弟，你再回来吧
07-24 14
这特斯卡餐厅开业，马斯克好不容易在这个新展台给擎天柱找了份盛爆米花的工作想展示一下，结果它还在营业第一天就小故障了一把。而当时身为OpenAI联合创始人的马斯克看中了他的才华，于是“近水楼台先得月”，于2017年将其挖到了特斯拉。据顾客反馈，Tesla Diner支持在特斯拉车上点单，到店就能直接进去吃，省了等餐的时间。这次特斯拉餐厅里擎天柱虽然不是主角，但一定是最受关注，也最受马斯克重视的那个。离开特斯拉的人不少，但让马斯克这样心心念念迫切想要其回归的，堪称罕见。营业首日，服务员擎天柱，出事故了。
博客
OpenAI资金链告急！紧急启动300亿美金融资，星际之门现在岌岌可危
07-24 26
软银一开始也确实履行了自己的承诺，在最初已完成的一笔100亿美元融资中，软银就领投了75亿，其余联合投资者则出资25亿，后续原定计划是继续加大投资，承诺出资总额75%。但万万没想到，初期项目还在建设，OpenAI就和软银闹得相当不愉快，二者在有关数据中心选址、投资规模等问题上爆发矛盾。，理论上PBC的设计将优先考虑股东的回报，同时也追求具有明显公共利益的项目，否则软银将会减少投资至100亿美元。而即使此次融资成功，没有足够的技术护城河，人才也在相继流失的情况下，网友也并不认为OpenAI能维持多久。
博客
vivo自研蓝河操作系统内核开源！Rust开发新机遇来了
07-24 654
蓝河选用的Rust引入了所有权（Ownership）和借用检查（Borrow Checker）机制，在编译期间强制保证对内存的合法访问，可以防止缓冲区溢出，同时禁止空指针和悬空引用并避免重复释放，减少内存泄漏。尽管成熟操作系统核心多由C/C++编写（比如Linux），但存在一些老生常谈的问题，比如引入内存漏洞、UAF（Use After Free）、缓冲区溢出等，系统稳定性依赖于极其严密的工程规范和人力经验。也是对国产操作系统的一次创新——使用新兴的Rust编程语言，构建内存安全的操作系统内核。
博客
提速79%！上交大新方法优化企业级AI流程调度 | IEEE ICDCS’ 25
07-24 15
实验结果表明，LLMSched在任意一组实验设置上均取得领先的成绩，同时随着任务数量增加，LLMSched的优势变得更为突出，比如，与 Decima 相比，在包含 100、200、300和400个任务的混合工作负载中，LLMSched 分别降低了 38%、65%、73%和 75%的平均 JCT，这展示了 LLMSched 的可扩展性。，通过引入三类新节点来扩展传统任务表征方法实现复合LLM应用任务的有效表征，借助贝叶斯网络识别可降低不确定性的关键节点，并以信息熵衡量节点的熵减程度。该框架引入了三种节点，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值