PrismML推出Ternary Bonsai 2 27B：体积缩小9倍，保留98.2%全精度模型性能

介绍Bonsai 2 27B：以小9倍的体积实现近乎无损的压缩

2026年9月17日，PrismML两个月前发布了首个Bonsai 27B模型，证明27B级别的多模态模型可被压缩到能在本地设备上高效运行。如今，其推出了目前最强大的模型Ternary Bonsai 2 27B。

Ternary Bonsai 2 27B基于Qwen3.8 27B，在保留Bonsai系列标志性部署特性的同时，带来了更强的推理、编码、视觉和智能代理能力。这些特性包括显著减小的内存占用、高本地吞吐量和更高的能源效率。

Ternary Bonsai 2 27B使用三值（{-1, 0, +1}）权重，并采用FP16分组缩放，每个权重的有效比特数为1.76，模型总体积仅为5.9GB。这种低比特表示方式在整个语言模型中端到端应用。它支持262K标记的上下文窗口，接受多模态的文本和图像输入，并遵循Apache 2.0许可发布。

与全精度版本相比，Ternary Bonsai 2 27B的体积缩小了9倍以上，同时保留了全精度模型98.2%的综合基准性能。在这样的保留率下，模型压缩成为了一种部署优势，在更小的体积下实现了近乎相同的能力。

与首个Bonsai 27B版本相比有哪些变化

首个Bonsai 27B版本是重要里程碑，为在本地设备上运行27B级别的智能模型提供了可行方案。而Bonsai 2 27B更进一步，着重提升了实际本地应用所需的模型质量和运行时性能。与之前的Bonsai 27B版本相比，Bonsai 2 27B有以下改进：更强大的基础模型，采用Qwen3.8 27B；更高的综合能力保留率，相对于全精度模型，能力保留率达到98.2%；性能提升，在推理、编码、视觉和长期智能代理等方面的性能得到显著提升。

在相同部署条件下具备更高能力

在涵盖推理、数学、编码、指令遵循、视觉和智能代理工具使用的基准测试中，Ternary Bonsai 2 27B获得了83.9的分数，保留了Qwen3.8 27B 98.2%的综合性能。

关键不仅在于综合得分，更在于能力的保留情况。编码代理、工具使用系统、多模态工作流和长期任务对模型性能下降尤为敏感，因为小错误可能在多个步骤中累积。Bonsai 2 27B在这些领域保留了全精度模型的大部分性能，同时内存占用大幅降低。

与全精度模型和其他低比特模型相比，Bonsai 2 27B在智能密度方面表现突出。许多低比特模型为了实现部署，不得不牺牲在编码、视觉或智能代理工具使用等方面的重要能力。而Bonsai 2 27B则在提升能力的同时降低了内存使用。

有了Bonsai 2 27B，本地模型可以开始承担实际的知识工作，如编码代理循环、计算机使用工作流、私有文档分析、多模态调试以及混合编排（本地模型处理敏感或高频任务，同时有选择地将任务上传到云端）。

吞吐量和能源效率

Ternary Bonsai 2 27B在NVIDIA GeForce RTX 5090上的吞吐量最高可达143标记/秒，在M5 Max上可达46.8标记/秒。在RTX 4090上，Ternary Bonsai 2 27B每标记仅消耗0.714 mWh，比全精度运行的8B模型节能40%。

对于编码助手来说，更高的吞吐量意味着更快的编辑 - 调试循环。对于多模态智能代理，这意味着在处理截图、文档和工具调用时能更快迭代。对于私有本地工作流，更高的能源效率意味着在同一设备上可以进行更多有用的推理，延长电池续航时间，并且使助手能够在后台持续运行而无需频繁调用云端。

此次发布的重要意义

与Ternary Bonsai 27B相比，新的Ternary Bonsai 2 27B将与全精度模型的能力保留差距从95%缩小到了超过98%。这是一个显著的改进，使得当前版本几乎实现了“无损”压缩，进一步证明了低比特模型可能是部署AI的最佳方式。

这一成果的影响远不止于本地推理。低比特模型可以改变跨设备、工作站和数据中心的AI系统的经济模式和架构：在相同的内存空间中运行更大的模型，在相同的硬件上服务更多用户，降低每次推理的能耗，并实现混合系统，动态决定哪些任务在本地运行，哪些任务在云端运行。

未来，人们关注的不仅是模型的能力，还包括在给定的内存、计算和功耗预算内能够提供多少有用的智能。如果在降低这些需求的同时，模型能力能够继续提升，那么未来模型的部署范围将从个人设备扩展到大规模数据中心。

支持平台

Bonsai 2 27B通过自定义低比特内核，可在支持CUDA的NVIDIA GPU以及通过MLX在苹果设备（Mac、iPhone、iPad）上运行。模型权重现已根据Apache 2.0许可发布。

与我们合作

PrismML与各团队合作，将Bonsai模型定制应用于他们的项目，包括基于特定领域数据进行训练后优化和针对目标硬件优化推理。如果正在构建对内存、延迟或功耗有严格要求的AI产品，可通过contact@prismml.com联系探讨Bonsai如何提供帮助。

加入我们

PrismML由加州理工学院的研究团队创立，得到了Khosla Ventures、Cerberus和Google的支持，并持续获得三星的资助。多年来，一直致力于解决该领域最具挑战性的问题之一：在不牺牲神经网络推理能力的前提下对其进行压缩。

如果想参与构建下一代先进的AI技术，可查看招聘页面。

资源

包括演示、白皮书、文档。

模型

可在Hugging Face、GitHub查看。

关注我们

可通过X、Discord、LinkedIn关注。

模型

包括Bonsai 27B、Bonsai 8B、Bonsai 4B、Bonsai 1.7B、Bonsai Image。

公司

包括关于我们、博客、新闻。

联系我们

包括招聘、联系我们。

法律声明

包括条款、隐私政策。

联系我们

如果有问题、合作想法或需要高效智能支持的项目，可随时联系，PrismML很乐意倾听需求。