GPT-4里套娃LLaMA 2！OpenAI创始成员周末爆改「羊驼宝宝」，GitHub一日千星

转载 于 2023-07-24 14:17:46 发布 · 282 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247687676&idx=4&sn=a6536becbff808e75f70b2b51c7d25bf&chksm=e8deaa8edfa92398b9cf779e8866f973c9327780d60a90e8ee9990a43bda08fab1bb7985205c&scene=126&sessionid=0
文章标签：

#llama #github

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

大神仅花一个周末训练微型LLaMA 2，并移植到C语言。

推理代码只有500行，在苹果M1笔记本上做到每秒输出98个token。

作者是OpenAI创始成员Andrej Karpathy，他把这个项目叫做Baby LLaMA 2（羊驼宝宝）。

7eaba5f02aef1e7cd7cae587875d543b.png

虽然它只有1500万参数，下载下来也只有58MB，但是已经能流畅讲故事。

f4544c73130d8290a0487af80e421842.png

所有推理代码可以放在C语言单文件上，没有任何依赖，除了能在笔记本CPU上跑，还迅速被网友接力开发出了各种玩法。

llama.cpp的作者Georgi Gerganov搞出了直接在浏览器里运行的版本。

a83ed72d8bff24e7f90625ca02ceb7d4.png

提示工程师Alex Volkov甚至做到了在GPT-4代码解释器里跑Baby LLaMA 2。

f67bf040d4d4ccc1bb8fadad691eb138.png

大模型套娃小模型，成了。

羊驼宝宝诞生记

据Karpathy分享，做这个项目的灵感正是来自llama.cpp。

训练代码来自之前他自己开发的nanoGPT，并修改成LLaMA 2架构。

推理代码直接开源在GitHub上了，不到24小时就狂揽1500+星。

6ea195c1e74fd33afbf7ca7939865eb3.png

训练数据集TinyStories则来自微软前一阵的研究。

2023新视野数学奖得主Ronen Eldan、2023斯隆研究奖得主李远志联手，验证了1000万参数以下的小模型，在垂直数据上训练也可以学会正确的语法、生成流畅的故事、甚至获得推理能力。

4f6118e6e69da17f3d06e2da8bda3ef9.png

此外，开发过程中还有一个插曲。

Karpathy很久不写C语言已经生疏了，但是在GPT-4的帮助下，还是只用一个周末就完成了全部工作。

71fa62a857f7ad50e1d000ecccf0a7d5.png

对此，英伟达科学家Jim Fan评价为：现象级。

5bb39fd2039417fa2456c712ce5a8c66.png

最初，在CPU单线程运行、fp32推理精度下，Baby LLaMA 2每秒只能生成18个token。

在编译上使用一些优化技巧以后，直接提升到每秒98个token。

13273b6bddf2441f011e632b4377eb98.png

优化之路还未停止。

有人提出，可以通过GCC编译器的-funsafe-math-optimizations模式再次提速6倍。

985e566749d6a7f793533d9d4662e8bc.png

除了编译方面外，也有人提议下一步增加LoRA、Flash Attention等模型层面流行的优化方法。

742709ce8fab8a9a9b967d22ee2db571.png

Baby LLaMA 2一路火到Hacker News社区，也引发了更多的讨论。

f16729c2b34b0337ebc3aca187d4bb46.png

有人提出，现在虽然只是一个概念验证，但本地运行的语言模型真的很令人兴奋。

虽然无法达到在云端GPU集群上托管的大模型的相同功能，但可以实现的玩法太多了。

68cfaa4e56c256b58bfedbf7705a3a34.png

在各种优化方法加持下，karpathy也透露已经开始尝试训练更大的模型，并表示：

70亿参数也许触手可及。

cef220d7ff69551fbe88b569f254e23d.png

GitHub：
https://github.com/karpathy/llama2.c

在浏览器运行Baby LLaMA 2：
https://ggerganov.com/llama2.c

参考链接：
[1]https://twitter.com/karpathy/status/1683143097604243456
[2]https://twitter.com/ggerganov/status/1683174252990660610
[3]https://twitter.com/altryne/status/1683222517719384065
[4]https://news.ycombinator.com/item?id=36838051

QbitAl
关注
博客
谷歌新架构突破Transformer超长上下文瓶颈！Hinton灵魂拷问：后悔Open吗？
12-05 33
现在AI领域已经达成共识的是，Transformer虽好，但自注意力机制的效率问题正在日益凸显：每个token都要“关注”其他所有token，导致计算量和内存消耗与序列长度的平方成正比。它把从长期记忆中提取的信息，当作是历史信息的“摘要”，与当前的短期输入一起进行处理。其中的关窍是“意外”。本质上，可以说这个新架构的重点，是重新定义Transformer的“记忆模式”，将其进化为一种更强大的混合架构。是Titans架构的一种主要变体，设计思路是，将长期记忆作为一种额外的上下文信息，直接“喂”给注意力机制。
博客
Office危！阿里千问这回把“办公全家桶”打包进了对话框
12-05 53
更实用的一点是，生成完还能改，我觉得这是这次升级最最最实用的功能点，毕竟我们平时让AI帮我们生成的PPT都不支持修改，最后还是要挪到office里搞，很麻烦。除了生成、编辑、格式调整外，在这次升级中，千问还支持Word/PPT/PDF/Excel等各类格式转换，确保用户相关操作在一个APP里就能完成。从排版格式上来看，文字行间距、字间距、大小标题的位置都没乱，内容也被分成了清晰的序号区块，整体观感还是比较舒服的。此外，PPT美观程度也是我们很care的点，现在我们在千问中可以直接更换PPT。
博客
优理奇机器人完成两轮合计3亿元天使++++轮及天使+++++轮融资，“算法-硬件-场景”三位一体加速具身智能应用落地
12-05 20
优理奇构建了涵盖感知、决策、控制的完整技术栈，并通过UniTouch多模态感知模型、UniFlex、UniCortex等行业领先的“大小脑”模型组合，以及行业首款量产的8自由度仿生机械臂和开放工具链，显著提升了机器人在非结构化环境中的适应性与可靠性。深度参与产品定义，以“可教学、可编程、可复现”为特点，配备完整ROS2接口，为科研与教育提供高效基础设施，进一步巩固公司在技术生态中的影响力。顶尖的技术与工程团队、经过严苛验证的产品、清晰的商业化路径、强大的产业资本联盟以及政府层面的全力支持。
博客
视频模型也能推理，Sora2推理能力超过GPT-5
12-05 42
这种通过视频来“预知未来”的能力，让模型不仅能理解当下的物理规则，更能推演未来的连锁反应，这或许才是通往World Simulator那把关键的钥匙。反观视频模型，它们通过构建时空连贯的Chain-of-Frame进行推理，这种“视觉动力学”机制保证了无论场景多么复杂，每帧的视觉 Token 密度都保持稳定，从而天然地维持了空间连续性。值得注意的是，团队进行了一项严苛的对比实验：在完全相同的训练数据和接近的训练设置下，同时微调了Wan2.2-TI2V-5B 和 Qwen2.5-VL-7B。
博客
GPT-5从零提出量子物理新想法，物理学家写成论文已登Physics Letters B
12-05 50
通俗地说，我们熟悉的量子力学是 “线性” 的，那如果给它加一些 “非线性” 的修改（让量子状态的变化不仅和自身有关，还和整个系统的状态挂钩），能不能依然符合相对论的要求（比如信息不能超光速传播、物理规律不随观测角度变）。他指出，这是大模型在物理学中的常见问题：模型的专业知识覆盖整个文献领域，因此完全有能力引入来自遥远子领域的、听起来很合理的技术应用，而这些往往是最难发现的虚构内容。与大模型一起做研究，可能类似于与一位才华横溢但不可靠的人类天才合作，他能够产生深刻的洞见，但也会犯下简单和深刻的错误。
博客
谷歌最强大模型付费上线，在DeepSeek开源后被吐槽太贵
12-05 30
具体来说，在「深度思考」模式下，Gemini会开启迭代推理，能多轮打磨代码，生成更精细的程序，从而在可视化、原型设计和实验方面给出细节更丰富的交付结果。不给对手任何喘息的机会，Gemini 3 Pro刚给OpenAI按在地上锤完，谷歌转手又扔出一重磅炸弹——Gemini 3 Deep Think。这或许也能解释，为什么本该是谷歌又一大招的Gemini 3 Deep Think，最终却出乎意料的反响平平，评论区几乎清一色都在吐槽定价。该模型的底层技术衍生于Gemini 2.5 Deep Think——没错，
博客
北航领衔发布300页代码智能综述：从基础模型到智能体，一次读懂Code LLM全景图
12-05 35
From Code Foundation Models to Agents and Applications》一文是对过去几年代码智能领域的一次系统梳理：模型、任务、训练、智能体、安全与应用都被串联成了一条完整、连贯的技术链路。论文将风险拆分为数据安全、模型安全和执行安全三个层面：包括训练数据的许可证风险、模型生成的潜在漏洞、提示攻击、环境操控、以及代码执行带来的系统级风险。论文从需求理解、代码定位、跨文件生成、自动测试、APR（自动修复）、日志分析等任务切入，为每一步构建了对应的Agent框架和案例。
博客
Ilya刚预言完，世界首个原生多模态架构NEO就来了：视觉和语言彻底被焊死
12-05 548
而过去几年，行业陷入了“唯规模论”的路径依赖，直到今天，以Ilya为代表的一批顶尖研究者才集体发出警示：Transformer架构的固有局限已日益凸显，仅靠堆叠算力和数据，无法通往真正的通用智能。它不仅重新定义了多模态模型的构建方式，更向世界宣告：AI的下一站，是回归到对智能本质的探索，通过根本性的架构创新，去构建能真正理解并融通多维信息的通用大脑。注意力机制是大模型的思考方式，在传统模块化模型里，语言模型的注意力是因果的（只能看到前面的词），而视觉编码器的注意力是双向的（能看到所有像素）。
博客
2025年的冬天，上海凭什么被称为“世界具身智能第一战场”？
12-05 43
真正的里程碑在于，在中国，以上海为代表的世界具身智能产业排头兵们，已经建立了一个让硅基生命能够“出生、成长、学习、就业”的完整生态系统。坐镇，她考核的不仅是摆放位置，更是机器人能否理解“留白”的意境，能否通过花材的疏密布局，表达出“孤独”或“热烈”的。行业的“定海神针” 发布的“青龙”全尺寸通用人形机器人开源公版机，通过开源图纸和架构，将全行业的起跑线向前推进了。2025年的冬天，黄浦江畔的风带着些许湿冷，但张江科学会堂周边的空气，却因高密度的算力运转而近乎沸腾。具身智能的大脑训练需要极高的算力支持。
博客
华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升
12-05 434
如果我们将一层Attention视为一阶关系（A认识B），那么将Attention的输出作为下一层Attention的输入，就可以构建二阶关系（张三通过李四认识王五），乃至更高阶的关系。这种结构天然支持多跳推理链，就像人在解一道数学题时，先理解题干中的关键变量（第1层），再思考它们之间的公式关系（第2层），最后验证整体逻辑是否自洽（第3层）。例如它能轻松理解“A认识B”，但如果要它理解“张三通过李四认识了王五”，即多跳、多点之间的复杂、间接关系，它的脑回路就显得不够深，推理能力的天花板瞬间触顶。
博客
“豆包手机”在二手市场价格都翻倍了……
12-04 24
当用户给助手指令，要求操作手机时，助手确实需要读取屏幕，否则无法完成用户任务，但屏幕和操作过程都不会在服务器端留下存储，且所有的相关内容也都不会进入模型训练。据了解，豆包手机助手官方最新向新浪科技表示，“合作的工程样机由豆包主导AI手机助手的产品定义与体验，中兴通讯旗下努比亚nubia主导硬件工程与技术研发”。，所有权限的使用在官网的隐私安全白皮书中都有明确的披露，并不存在一些谣言所说的“入侵”、“越权”等行为。另外，有传言称这款手机基本算是字节自己研发的，但是迫于压力说的合作，其实中兴只是代工。
博客
黄仁勋做客美国第一播客：每天都在担心英伟达倒闭
12-04 40
然后你说“不，那是错的”，你需要把那个误差反向传播回去，调整这几十亿个开关的参数。我的两个孩子现在都在英伟达工作，所以我们在一起时，大家都在工作，都在聊公司的事情。我去见世嘉的CEO，我告诉他：“我没法完成合同了，我们的技术是错的。： 我一直想弄懂这个基础问题，因为我也在玩游戏，我知道显卡是干嘛的。如果这能让我们获取知识更高效，哪怕是由AI合成的知识，只要它是基于第一性原理核实过的，那就没问题。当时行业的主流是用三角形来绘图，而我们却选择了一种叫“正向纹理映射”的技术，用的是四边形，甚至是曲面。
博客
嘉宾全阵容揭晓！张亚勤孙茂松，百度小米商汤谷歌都要来MEET2026
12-04 128
PPIO聚焦于AI云计算领域，推出高性能推理加速引擎，集成GPU容器实例、Serverless GPUs、Agent沙箱、大语言模型API、图像与视频生成模型API等产品，使开发者无需关注底层基础设施运维与模型接口开发，即可快速部署AIGC应用，聚焦应用创新与业务增长。刘凡平，毕业于中国科学技术大学，上海市科技专家库专家，曾出版人工智能领域著作4本，发表多篇人工智能领域论文，人工智能技术相关专利20余项，涵盖基础算法研究到大模型架构设计。主要研究兴趣包括：大模型、多模态、搜索推荐、具身智能、VR/AR等。
博客
下周三！量子位的这件大事就要来了｜MEET2026
12-04 249
这几位大咖聚在一起，探讨的不仅是Agent的技术架构，更是如何让AI从陪聊进化为真正的超级助理。前者， 是由量子位智库梳理总结出的2025年度AI代表进展，并且展望接下来能预见的技术趋势，覆盖从算法数据算力的技术底座，到产品解决方案，乃至行业应用的发展走向，总之关于AI的一切，都可以在这份报告一览而尽。而且现在大会的内容已经可以剧透，真就是光看嘉宾就知道有多重磅了，包括清华大学张亚勤、孙茂松、智源研究院王仲远等学术界的大咖，国内产业界有百度、小米、商汤等，国外有谷歌云、亚马逊云科技、高通等。
博客
Sora APP 30天留存率：1%
12-04 47
不幸的是，此时回过头看，Sora APP在阶段3的一些尝试无疑是失败的。潜台词就是，即使打造出了Sora APP这样一款强大的应用，一些后续运营对OpenAI来说仍是不小的挑战，何况这种短视频产品对运营的依赖更重。可以看到，OpenAI一边为Sora APP增加新功能新玩法，一边取消注册使用门槛，以此促进用户增长，但貌似用户并不买账。作为一名内容创作者，我放弃了它，因为它无法上传我自己的逼真头像。部分网友表示，Sora APP的推荐算法非常糟糕，总是推送同类型的视频，sam的脸总是高频出现。
博客
无需训练的3D生成加速新思路：西湖大学提出Fast3Dcache
12-04 65
它动态地分配每一部的“计算预算”——变化大的时候多算点，稳定的时候多存点，绝不浪费一度电，也绝不错过一个细节。当参数τ=8时，模型提速。下图所示，Fast3Dcache自身以及和其他方法结合在提高速度以及降低计算量的同时，仍然保持了高质量的几何特征。这种基于时空动力学的筛选机制，比传统的仅看数值相似度要靠谱得多，彻底解决了3D结构断裂的问题。：尾声，绝大多数体素已经定型，只剩下微小的细节修补，可以采用固定采样的激进加速方法。：生成初期，物体的大致轮廓正在形成，体素变化剧烈，这时候必须全力计算，不能偷懒。
博客
误入人均10个顶级offer的技术天团活动，顶尖AI人才的选择逻辑我悟了
12-04 349
再加上在他的判断下，电商+Agent是C端AI产品最天然的应用场景，尤其在京东这样的高频交易平台上，Agent不是个点状功能，而是能覆盖选品、搜索、比价、下单、售后的全链路智能体。——这点倒符合外界对京东一贯的评价，拥有完善自营体系的京东，依托多年沉淀的电商和供应链能力，沉淀了海量真实数据，数据链路闭环，为大模型训练提供了满满的“弹药库”。Daniel说，京东是一家以供应链为基础的技术与服务企业，自己在了解供应链业务后，识别到这背后的复杂度与挑战性，同时也意识到这其中巨大的机会和成长空间。
博客
理想首款AI眼镜，只卖1699元
12-04 23
可以连接车里的任何一块屏幕，在任何一个位置上，你可以让车里边或者手机里的声音直接连到你的眼镜里进行播放，尤其是高速的时候，跑长途，孩子看着动画片，你可以听书听导航，互不干扰又彼此开放，车里其他人说话你都能听得很清楚。第二点，前框极致轻薄，尼龙壁厚只有0.8毫米，同时没有使用固定式鼻托，使用了钛合金的调节鼻托，三块电池其中的两块电池配重到了镜腿的最后面，形成了一个三点的重量平衡，鼻子和两个耳朵这个受力非常的均衡。第三，整个的镜腿后部的弧度设计是学习运动眼镜向后环抱，戴上以后更有安全感，甚至跑步没有任何问题。
博客
GPT-5-Thinking新训练方法公开：让AI学会忏悔
12-04 24
具体来说，在11/12的评估中，模型至少有一半的概率会在忏悔中如实交代自己的违规行为。典型场景是模型碰巧猜对了答案，但因为没有把握，就在忏悔中标记为“不确定是否合规”。OpenAI将忏悔定位为一种监控和诊断工具，类似于思维链监控，但关注的是“模型是否违反了指令”而非“模型是如何推理的”。它也不能防御成功的越狱攻击，如果用户已经成功欺骗模型让它认为违规操作是合理的，模型自然也不会在忏悔中承认问题。绝大多数失败发生在模型自己也没意识到问题的情况下，比如在知识问答中给出了错误答案，但模型真心以为自己是对的。
博客
又一高管弃库克而去！苹果UI设计负责人转投Meta
12-04 37
前谷歌AI主管约翰・詹南德里亚（John Giannandrea），2018年加盟苹果管AI，却因Siri升级慢、Apple Intelligence没起色，被劝退了——明年春天退休，结束7年的苹果生涯。现如今苹果的液态玻璃设计，据说就出自他的手笔。设计是苹果公司本质的核心，今天，我们拥有一支卓越的设计团队，正在打造历史上最具创新性的产品阵容。而更重要的AI方向上，苹果不仅老态龙钟步履蹒跚，关键人物也是劝退的劝退、跳槽的跳槽。之前已经被多次曝光的进展是，执掌苹果14年的蒂姆・库克（Tim Cook），
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值