ChatGPT真实参数只有200亿，首次被微软曝光！网友：难怪OpenAI对开源很紧张

转载 于 2023-10-31 19:09:02 发布 · 234 阅读 · 1 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247702033&idx=3&sn=b94877955f43b16f02136a32924341bc&chksm=e8df6163dfa8e87552420718bc7e2cca159c542cac014d32a2fc6e030ec7d23b8ff07423f2b9&scene=126&sessionid=0
文章标签：

#chatgpt

部署运行你感兴趣的模型镜像
白交 发自 凹非寺
量子位 | 公众号 QbitAI

突然间，整个大模型圈都在谈论同一件事。

微软论文里一张「乍一看不足为奇」的统计图，泄露了“天机”。

引领全球风暴的ChatGPT，背后大模型参数竟只有200亿？？？

ca85988a6636fe80fe3c55ec96e287e0.png

论文一经发布，就吸引了国内外众多关注。

4f1b9b75de0f3995ca95aa5b408a5d9d.png
ecf9fcb1d6e0fabefd43b5aa96cc73f2.png

不少网友还不相信：确定不是拼写错了？

4f2e703d4f8cbc7270e6ccba3e863ad0.png

有网友表示：难怪OpenAI对开源这么紧张。又或者，这也许是为OpenAI开源做准备。

6afb1ce7b5bafb736d00619c37960456.png

无独有偶，就在前几天有网友在GitHub Copilot的API中发现了疑似GPT-4新型号：copilot-gpt-4-2，所拥有的知识更新到了2023年3月。

4fd0493096b9f31afc986fd16da3ba10.png

这篇论文说了啥？

除了泄露机密，这篇论文本身也值得一看：业内首个用扩散模型做代码生成。

研究团队设想了这样一个场景：

如果开发人员只能修改最后一行代码，那么需要多少次从头开始编写一个函数才能完成呢？

用自然语言生成代码的自回归模型也有类似的局限性：不太容易重新考虑之前生成的tokens。

8bf4d210ba645e839dfd139f175e28b0.png

微软研究员提出了采用编码-解码架构的CODEFUSION，主要包括编码器、解码器、去噪器以及Classification Head，将自然语言输入编码为连续表示，然后将其附加条件输入Diffusion模型中用高斯噪声进行迭代去噪。

4888a6b19e167bd6067594bba4adf42d.png

为了生成语法正确的代码，去噪后输入解码器中获得代码tokens，通过针对代码的连续段落去噪(CPD)任务预训练CODEFUSION。

在Python、Bash和Excel条件格式化（CF）规则三个语言任务上评估了CODEFUSION。

结果显示其7500万参数规模CODEFUSION性能，同200亿参数的GPT-3.5-turbo接近，而且还生成更加多样化的代码。

7b4ebad621892ddbddbd279e80b7738e.png

与纯文本生成的diffusion模型相比，CODEFUSION生成更多语法正确的代码；与自动回归模型相比，生成更加多样化的候选代码。

与最先进的自回归系统（350M-175B 参数）相比，在前 1 名的准确率方面表现相当，而在前 3 名和前 5 名的准确率方面，由于其在多样性与质量之间取得了更好的平衡，其表现优于自回归系统。

结果这原本只是一次再正常不过的性能比较，没想到引起轩然大波。

c9d2c304a32a6a0106271154dc107885.png

也有人开始了阴谋论，或许这是OpenAI开源的“前菜”，故意而为之——

因为不少大模型已经追赶上来了，而且早在今年5月，路透社就曾爆料OpenAI准备开源新大语言模型。

a339421f621ab49b03b0988ae4777e79.png

One More Thing

值得一提的是，早在今年2月份福布斯一则新闻报道里，就曾透露过ChatGPT只有200亿参数。

35f77d2bb9028bc32deddd62d2ef9478.png

当时标题是「越大越好吗？为什么 ChatGPT VS GPT-3 VS GPT-4 的 “战斗 “只是一次家庭聊天？」

只是当时没有太多人在意。

参考链接：
[1]https://twitter.com/felix_red_panda/status/1718916631512949248
[2]https://x.com/teortaxesTex/status/1718972447024623898?s=20
[3]https://www.reddit.com/r/singularity/comments/17jrepb/microsoft_paper_claims_chatgpt_35_has_20_billion/
[4]https://www.zhihu.com/question/628395521
[5]https://www.reddit.com/r/ChatGPT/comments/17ht56t/new_leaks_about_upcoming_developments_with_openai/?share_id=txV27HR0zw0TjV8dLXf4l
[6]https://www.forbes.com/sites/forbestechcouncil/2023/02/17/is-bigger-better-why-the-chatgpt-vs-gpt-3-vs-gpt-4-battle-is-just-a-family-chat/amp/

— 完 —

「量子位2023人工智能年度评选」开始啦！

今年，量子位2023人工智能年度评选从企业、人物、产品/解决方案三大维度设立了5类奖项！欢迎扫码报名 

MEET 2024大会已启动！点此了解详情。

85af60c7a609e5e9ce29e12c0fb9b668.png

点这里👇关注我，记得标星哦～

您可能感兴趣的与本文相关的镜像

Kotaemon

Kotaemon

AI应用

Kotaemon 是由Cinnamon 开发的开源项目，是一个RAG UI页面,主要面向DocQA的终端用户和构建自己RAG pipeline

QbitAl
关注
博客
谷歌新架构突破Transformer超长上下文瓶颈！Hinton灵魂拷问：后悔Open吗？
12-05 30
现在AI领域已经达成共识的是，Transformer虽好，但自注意力机制的效率问题正在日益凸显：每个token都要“关注”其他所有token，导致计算量和内存消耗与序列长度的平方成正比。它把从长期记忆中提取的信息，当作是历史信息的“摘要”，与当前的短期输入一起进行处理。其中的关窍是“意外”。本质上，可以说这个新架构的重点，是重新定义Transformer的“记忆模式”，将其进化为一种更强大的混合架构。是Titans架构的一种主要变体，设计思路是，将长期记忆作为一种额外的上下文信息，直接“喂”给注意力机制。
博客
Office危！阿里千问这回把“办公全家桶”打包进了对话框
12-05 50
更实用的一点是，生成完还能改，我觉得这是这次升级最最最实用的功能点，毕竟我们平时让AI帮我们生成的PPT都不支持修改，最后还是要挪到office里搞，很麻烦。除了生成、编辑、格式调整外，在这次升级中，千问还支持Word/PPT/PDF/Excel等各类格式转换，确保用户相关操作在一个APP里就能完成。从排版格式上来看，文字行间距、字间距、大小标题的位置都没乱，内容也被分成了清晰的序号区块，整体观感还是比较舒服的。此外，PPT美观程度也是我们很care的点，现在我们在千问中可以直接更换PPT。
博客
优理奇机器人完成两轮合计3亿元天使++++轮及天使+++++轮融资，“算法-硬件-场景”三位一体加速具身智能应用落地
12-05 17
优理奇构建了涵盖感知、决策、控制的完整技术栈，并通过UniTouch多模态感知模型、UniFlex、UniCortex等行业领先的“大小脑”模型组合，以及行业首款量产的8自由度仿生机械臂和开放工具链，显著提升了机器人在非结构化环境中的适应性与可靠性。深度参与产品定义，以“可教学、可编程、可复现”为特点，配备完整ROS2接口，为科研与教育提供高效基础设施，进一步巩固公司在技术生态中的影响力。顶尖的技术与工程团队、经过严苛验证的产品、清晰的商业化路径、强大的产业资本联盟以及政府层面的全力支持。
博客
视频模型也能推理，Sora2推理能力超过GPT-5
12-05 35
这种通过视频来“预知未来”的能力，让模型不仅能理解当下的物理规则，更能推演未来的连锁反应，这或许才是通往World Simulator那把关键的钥匙。反观视频模型，它们通过构建时空连贯的Chain-of-Frame进行推理，这种“视觉动力学”机制保证了无论场景多么复杂，每帧的视觉 Token 密度都保持稳定，从而天然地维持了空间连续性。值得注意的是，团队进行了一项严苛的对比实验：在完全相同的训练数据和接近的训练设置下，同时微调了Wan2.2-TI2V-5B 和 Qwen2.5-VL-7B。
博客
GPT-5从零提出量子物理新想法，物理学家写成论文已登Physics Letters B
12-05 47
通俗地说，我们熟悉的量子力学是 “线性” 的，那如果给它加一些 “非线性” 的修改（让量子状态的变化不仅和自身有关，还和整个系统的状态挂钩），能不能依然符合相对论的要求（比如信息不能超光速传播、物理规律不随观测角度变）。他指出，这是大模型在物理学中的常见问题：模型的专业知识覆盖整个文献领域，因此完全有能力引入来自遥远子领域的、听起来很合理的技术应用，而这些往往是最难发现的虚构内容。与大模型一起做研究，可能类似于与一位才华横溢但不可靠的人类天才合作，他能够产生深刻的洞见，但也会犯下简单和深刻的错误。
博客
谷歌最强大模型付费上线，在DeepSeek开源后被吐槽太贵
12-05 25
具体来说，在「深度思考」模式下，Gemini会开启迭代推理，能多轮打磨代码，生成更精细的程序，从而在可视化、原型设计和实验方面给出细节更丰富的交付结果。不给对手任何喘息的机会，Gemini 3 Pro刚给OpenAI按在地上锤完，谷歌转手又扔出一重磅炸弹——Gemini 3 Deep Think。这或许也能解释，为什么本该是谷歌又一大招的Gemini 3 Deep Think，最终却出乎意料的反响平平，评论区几乎清一色都在吐槽定价。该模型的底层技术衍生于Gemini 2.5 Deep Think——没错，
博客
北航领衔发布300页代码智能综述：从基础模型到智能体，一次读懂Code LLM全景图
12-05 32
From Code Foundation Models to Agents and Applications》一文是对过去几年代码智能领域的一次系统梳理：模型、任务、训练、智能体、安全与应用都被串联成了一条完整、连贯的技术链路。论文将风险拆分为数据安全、模型安全和执行安全三个层面：包括训练数据的许可证风险、模型生成的潜在漏洞、提示攻击、环境操控、以及代码执行带来的系统级风险。论文从需求理解、代码定位、跨文件生成、自动测试、APR（自动修复）、日志分析等任务切入，为每一步构建了对应的Agent框架和案例。
博客
Ilya刚预言完，世界首个原生多模态架构NEO就来了：视觉和语言彻底被焊死
12-05 543
而过去几年，行业陷入了“唯规模论”的路径依赖，直到今天，以Ilya为代表的一批顶尖研究者才集体发出警示：Transformer架构的固有局限已日益凸显，仅靠堆叠算力和数据，无法通往真正的通用智能。它不仅重新定义了多模态模型的构建方式，更向世界宣告：AI的下一站，是回归到对智能本质的探索，通过根本性的架构创新，去构建能真正理解并融通多维信息的通用大脑。注意力机制是大模型的思考方式，在传统模块化模型里，语言模型的注意力是因果的（只能看到前面的词），而视觉编码器的注意力是双向的（能看到所有像素）。
博客
2025年的冬天，上海凭什么被称为“世界具身智能第一战场”？
12-05 33
真正的里程碑在于，在中国，以上海为代表的世界具身智能产业排头兵们，已经建立了一个让硅基生命能够“出生、成长、学习、就业”的完整生态系统。坐镇，她考核的不仅是摆放位置，更是机器人能否理解“留白”的意境，能否通过花材的疏密布局，表达出“孤独”或“热烈”的。行业的“定海神针” 发布的“青龙”全尺寸通用人形机器人开源公版机，通过开源图纸和架构，将全行业的起跑线向前推进了。2025年的冬天，黄浦江畔的风带着些许湿冷，但张江科学会堂周边的空气，却因高密度的算力运转而近乎沸腾。具身智能的大脑训练需要极高的算力支持。
博客
华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升
12-05 432
如果我们将一层Attention视为一阶关系（A认识B），那么将Attention的输出作为下一层Attention的输入，就可以构建二阶关系（张三通过李四认识王五），乃至更高阶的关系。这种结构天然支持多跳推理链，就像人在解一道数学题时，先理解题干中的关键变量（第1层），再思考它们之间的公式关系（第2层），最后验证整体逻辑是否自洽（第3层）。例如它能轻松理解“A认识B”，但如果要它理解“张三通过李四认识了王五”，即多跳、多点之间的复杂、间接关系，它的脑回路就显得不够深，推理能力的天花板瞬间触顶。
博客
“豆包手机”在二手市场价格都翻倍了……
12-04 24
当用户给助手指令，要求操作手机时，助手确实需要读取屏幕，否则无法完成用户任务，但屏幕和操作过程都不会在服务器端留下存储，且所有的相关内容也都不会进入模型训练。据了解，豆包手机助手官方最新向新浪科技表示，“合作的工程样机由豆包主导AI手机助手的产品定义与体验，中兴通讯旗下努比亚nubia主导硬件工程与技术研发”。，所有权限的使用在官网的隐私安全白皮书中都有明确的披露，并不存在一些谣言所说的“入侵”、“越权”等行为。另外，有传言称这款手机基本算是字节自己研发的，但是迫于压力说的合作，其实中兴只是代工。
博客
黄仁勋做客美国第一播客：每天都在担心英伟达倒闭
12-04 36
然后你说“不，那是错的”，你需要把那个误差反向传播回去，调整这几十亿个开关的参数。我的两个孩子现在都在英伟达工作，所以我们在一起时，大家都在工作，都在聊公司的事情。我去见世嘉的CEO，我告诉他：“我没法完成合同了，我们的技术是错的。： 我一直想弄懂这个基础问题，因为我也在玩游戏，我知道显卡是干嘛的。如果这能让我们获取知识更高效，哪怕是由AI合成的知识，只要它是基于第一性原理核实过的，那就没问题。当时行业的主流是用三角形来绘图，而我们却选择了一种叫“正向纹理映射”的技术，用的是四边形，甚至是曲面。
博客
嘉宾全阵容揭晓！张亚勤孙茂松，百度小米商汤谷歌都要来MEET2026
12-04 126
PPIO聚焦于AI云计算领域，推出高性能推理加速引擎，集成GPU容器实例、Serverless GPUs、Agent沙箱、大语言模型API、图像与视频生成模型API等产品，使开发者无需关注底层基础设施运维与模型接口开发，即可快速部署AIGC应用，聚焦应用创新与业务增长。刘凡平，毕业于中国科学技术大学，上海市科技专家库专家，曾出版人工智能领域著作4本，发表多篇人工智能领域论文，人工智能技术相关专利20余项，涵盖基础算法研究到大模型架构设计。主要研究兴趣包括：大模型、多模态、搜索推荐、具身智能、VR/AR等。
博客
下周三！量子位的这件大事就要来了｜MEET2026
12-04 243
这几位大咖聚在一起，探讨的不仅是Agent的技术架构，更是如何让AI从陪聊进化为真正的超级助理。前者， 是由量子位智库梳理总结出的2025年度AI代表进展，并且展望接下来能预见的技术趋势，覆盖从算法数据算力的技术底座，到产品解决方案，乃至行业应用的发展走向，总之关于AI的一切，都可以在这份报告一览而尽。而且现在大会的内容已经可以剧透，真就是光看嘉宾就知道有多重磅了，包括清华大学张亚勤、孙茂松、智源研究院王仲远等学术界的大咖，国内产业界有百度、小米、商汤等，国外有谷歌云、亚马逊云科技、高通等。
博客
Sora APP 30天留存率：1%
12-04 47
不幸的是，此时回过头看，Sora APP在阶段3的一些尝试无疑是失败的。潜台词就是，即使打造出了Sora APP这样一款强大的应用，一些后续运营对OpenAI来说仍是不小的挑战，何况这种短视频产品对运营的依赖更重。可以看到，OpenAI一边为Sora APP增加新功能新玩法，一边取消注册使用门槛，以此促进用户增长，但貌似用户并不买账。作为一名内容创作者，我放弃了它，因为它无法上传我自己的逼真头像。部分网友表示，Sora APP的推荐算法非常糟糕，总是推送同类型的视频，sam的脸总是高频出现。
博客
无需训练的3D生成加速新思路：西湖大学提出Fast3Dcache
12-04 62
它动态地分配每一部的“计算预算”——变化大的时候多算点，稳定的时候多存点，绝不浪费一度电，也绝不错过一个细节。当参数τ=8时，模型提速。下图所示，Fast3Dcache自身以及和其他方法结合在提高速度以及降低计算量的同时，仍然保持了高质量的几何特征。这种基于时空动力学的筛选机制，比传统的仅看数值相似度要靠谱得多，彻底解决了3D结构断裂的问题。：尾声，绝大多数体素已经定型，只剩下微小的细节修补，可以采用固定采样的激进加速方法。：生成初期，物体的大致轮廓正在形成，体素变化剧烈，这时候必须全力计算，不能偷懒。
博客
误入人均10个顶级offer的技术天团活动，顶尖AI人才的选择逻辑我悟了
12-04 349
再加上在他的判断下，电商+Agent是C端AI产品最天然的应用场景，尤其在京东这样的高频交易平台上，Agent不是个点状功能，而是能覆盖选品、搜索、比价、下单、售后的全链路智能体。——这点倒符合外界对京东一贯的评价，拥有完善自营体系的京东，依托多年沉淀的电商和供应链能力，沉淀了海量真实数据，数据链路闭环，为大模型训练提供了满满的“弹药库”。Daniel说，京东是一家以供应链为基础的技术与服务企业，自己在了解供应链业务后，识别到这背后的复杂度与挑战性，同时也意识到这其中巨大的机会和成长空间。
博客
理想首款AI眼镜，只卖1699元
12-04 18
可以连接车里的任何一块屏幕，在任何一个位置上，你可以让车里边或者手机里的声音直接连到你的眼镜里进行播放，尤其是高速的时候，跑长途，孩子看着动画片，你可以听书听导航，互不干扰又彼此开放，车里其他人说话你都能听得很清楚。第二点，前框极致轻薄，尼龙壁厚只有0.8毫米，同时没有使用固定式鼻托，使用了钛合金的调节鼻托，三块电池其中的两块电池配重到了镜腿的最后面，形成了一个三点的重量平衡，鼻子和两个耳朵这个受力非常的均衡。第三，整个的镜腿后部的弧度设计是学习运动眼镜向后环抱，戴上以后更有安全感，甚至跑步没有任何问题。
博客
GPT-5-Thinking新训练方法公开：让AI学会忏悔
12-04 20
具体来说，在11/12的评估中，模型至少有一半的概率会在忏悔中如实交代自己的违规行为。典型场景是模型碰巧猜对了答案，但因为没有把握，就在忏悔中标记为“不确定是否合规”。OpenAI将忏悔定位为一种监控和诊断工具，类似于思维链监控，但关注的是“模型是否违反了指令”而非“模型是如何推理的”。它也不能防御成功的越狱攻击，如果用户已经成功欺骗模型让它认为违规操作是合理的，模型自然也不会在忏悔中承认问题。绝大多数失败发生在模型自己也没意识到问题的情况下，比如在知识问答中给出了错误答案，但模型真心以为自己是对的。
博客
又一高管弃库克而去！苹果UI设计负责人转投Meta
12-04 34
前谷歌AI主管约翰・詹南德里亚（John Giannandrea），2018年加盟苹果管AI，却因Siri升级慢、Apple Intelligence没起色，被劝退了——明年春天退休，结束7年的苹果生涯。现如今苹果的液态玻璃设计，据说就出自他的手笔。设计是苹果公司本质的核心，今天，我们拥有一支卓越的设计团队，正在打造历史上最具创新性的产品阵容。而更重要的AI方向上，苹果不仅老态龙钟步履蹒跚，关键人物也是劝退的劝退、跳槽的跳槽。之前已经被多次曝光的进展是，执掌苹果14年的蒂姆・库克（Tim Cook），
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值