
【导语:大型模型在智能手机和数据中心运行面临难题,PrismML构建超密集智能解决方案,推出1比特Bonsai系列模型,内存占用、速度、能耗等方面表现出色,重塑模型设计方式。】

大型模型无法在智能手机上运行,数据中心也难以维持其运行。PrismML聚焦智能密度,正在构建超密集智能解决方案,以解决这两大难题。其发布的1比特Bonsai系列模型,在内存占用、运行速度和能耗方面有显著优化。

1比特Bonsai 8B模型是首个具有商业可行性的1比特权重模型,仅需1.15GB内存,与全精度8B模型相比,占用空间缩小至1/14,运行速度快8倍,能源效率提高5倍,智能密度比全精度8B模型高出10倍以上。
1比特Bonsai 4B模型仅需0.57GB内存,速度极快,在M4 Pro上每秒可处理132个token,保证高准确性的同时具备出色能源效率。1比特Bonsai 1.7B模型仅占用0.24GB内存,在iPhone 17 Pro Max上每秒可处理130个token,兼具能源效率和较高准确性。

成功的人工智能不仅在于构建更大的模型,更在于打造更智能的模型。PrismML借助加州理工学院的突破性研究成果,将每比特的智能水平置于参数数量之上,推动智能密度领域的前沿发展。
编辑观点:PrismML的1比特模型在性能上有显著提升,为大模型在更多场景的应用提供了可能,有望推动人工智能行业向更高效、更智能的方向发展。
458



被折叠的 条评论
为什么被折叠?



