74MB跑GPT！CPU单核就能聊天的超轻量“大”模型来了

Python_金钱豹

墨衍会员 · AI 创作全网分发码龄5年

关注

原创最新推荐文章于 2026-04-06 20:20:16 发布 1k 阅读 AI 写同款· GEO 优化 ›

清华大学出品DeepSeek第四版：DeepSeek + DeepResearch 让科研像聊天一样简单（附下载链接） DeepSeek + DeepResearch 让科研像聊天一样简单（附下载链接）阅读详情

大模型瘦身的极限是多少？

nisten在推特上宣布，他们成功将一个能正常对话的AI模型压缩到了74MB，而且只需要单个CPU核心就能以每秒198个token的速度流畅运行。

在这里插入图片描述

这是什么概念？要知道，目前主流的大语言模型动辄几十上百GB，没有高性能显卡根本跑不动。而这个74MB的模型居然能在普通笔记本上流畅对话，简直是魔术级的黑科技！

nisten表示，他们通过改进bitnet技术实现了这一突破，并计划通过@skunkworks_ai开源这个名为Biggie-SmoLlm-0.15B-Base的模型。

不过，他也承认模型还有点"笨"，但对话能力基本够用了。最让人惊讶的是它的速度，简直快得离谱。

为了达到这一效果，研究团队进行了200-300轮训练迭代。nisten表示，他们有信心将模型大小进一步压缩到50MB以下。

更疯狂的是，他们的目标还在不断变化：

目标已经从✅100Mb降到了✅69Mb，现在我们瞄准的是✔️42Mb

42MB？！这已经不是压缩，而是折叠空间了吧？

但nisten并没有就此停下脚步。他表示，llama.cpp最近合并了更好、更快的三元支持，这意味着到周五时可能就能实现40MB大小的模型。

在这里插入图片描述

如果真的成功了，那么将Meta的405B参数模型压缩到60GB左右也不是不可能。

有网友已经开始展望未来：

70B参数的模型在手机上运行的日子不远了。

如果这项技术能持续突破，未来我们在苹果耳机或智能眼镜随身携带一个GPT-4级别的AI助手的场景或许真的就要来了。

当然，目前这个超轻量模型的能力还很有限。但它的意义在于为AI民主化铺平了道路。想象一下，人人都能在自己的设备上运行一个私人AI助手，不需要依赖云服务，也不用担心隐私泄露，这将会给我们的生活带来极大的变革。

有意思的是，nisten还调侃说：

你们这帮人肯定要为这项突破写4篇新的arXiv论文了，可别忘了在前人工作里引用我这条推文啊，哈哈。

目前这项技术还处于早期阶段，有很多问题需要解决。比如如何在保证模型大小的同时提升其能力，如何解决模型压缩带来的精度损失等等。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述