
Un - 0的出发点:用物理系统重做AI计算
在过去十多年里,以GPU为核心的数字计算统治了AI领域,随着模型参数量迈向万亿级,AI能耗成行业瓶颈。前Databricks AI负责人Naveen Rao的Unconventional AI发布Un - 0,这是由「模拟耦合振子系统」驱动的图像生成模型,在ImageNet 64×64上FID达6.74,Naveen Rao称其是「第一个以物理作为计算原语构建的大规模生成模型」,未来或降AI推理能耗至现有系统千分之一。Unconventional AI目标是构建新型计算机,利用物理规律计算,降低1000倍能耗,提出能否训练物理动力系统在规模化任务上生成图像的问题。最强AI模型多为传统深度网络,但也有研究借助物理系统动态行为提高能效,Un - 0是新尝试,难点是将AI任务映射到物理系统动态过程。
Un - 0的工作原理
官方以两个节拍器为例解释振子概念,振子有相位,受邻近振子影响。Un - 0计算引擎是大规模振子群,振子间耦合强度是主要可学习参数,建模为「Kuramoto振子」。每个振子按自身自然频率旋转并受其他振子牵引,Un - 0需学习耦合矩阵K和自然频率ω。选择振子一是因大脑存在节律活动和同步现象,耦合振子适合作为神经启发式计算模型基础单元;二是振子可实现为物理电路原语,可在CMOS等物理底座上实现耦合振子系统。
Un - 0的模型架构
Un - 0生成图像分五步:随机初始化、输入类别引导、让物理自然运行、捕捉快照、渲染像素。耦合振子在训练得到的耦合关系作用下随时间演化,条件振子到主振子池有单向低秩类别条件矩阵注入类别信息。训练中模型学习振子耦合、自然频率和解码器权重,振子系统承担原本由传统神经网络层完成的计算。Un - 0训练方法与扩散模型等不同,需更复杂损失函数。
如何训练Un - 0?
Unconventional AI在CIFAR - 10和ImageNet 64×64上分别训练三种规模模型,随振子数量增加,模型FID评分改善,最大ImageNet 64×64模型用16384个振子,总参数约3.22亿,FID达6.74。训练用「漂移损失」函数,配合DINOv2特征提取器和AdamW优化器,CIFAR - 10用5万张生成样本评测,ImageNet 64×64同样,算力方面CIFAR - 10模型在1张B200 GPU上训练,ImageNet 64×64模型在8张B200 GPU上训练,训练瓶颈来自「漂移损失」函数计算。
Un - 0在图像生成领域处在什么位置?
Unconventional AI将Un - 0与传统和非传统模型在「生成质量 vs 参数数量」曲线上比较,Un - 0质量与一些早期传统生成器相当甚至更好,但落后于后来高性能传统模型。它是新路线起点,证明利用物理动力学系统进行现代AI大规模图像生成可行,为未来「非传统AI硬件」开辟道路。Naveen Rao强调计算存在于自然与物理世界,动力系统可节省能耗,Un - 0代表计算范式向动力系统转变重要一步,网友对此表示期待。



被折叠的 条评论
为什么被折叠?



