Cute idea！LeCun点赞，扩散模型跨界神经网络参数生成

 

论文题目： Neural Network Diffusion
论文链接： https://arxiv.org/abs/2402.13144
代码仓库： GitHub - NUS-HPC-AI-Lab/Neural-Network-Diffusion: We introduce a novel approach for parameter generation, named neural network diffusion (\textbf{p-diff}, p stands for parameter), which employs a standard latent diffusion model to synthesize a new set of parameters

最近OpenAI提出的Sora视频生成模型引起了广泛的关注，其背后的扩散模型再一次向我们展示了强大的生成潜力。学术界正积极的探索扩散模型的能力边界，本文介绍一篇来自新加坡国立大学的尤洋团队、UC伯克利和Meta AI Research合作完成的文章。本文另辟蹊径，直接用扩散模型生成神经网络的参数，本文的方法非常简单，仅设计了一个自动编码器和一个标准的隐扩散模型。自编码器通过对已训练的网络参数子集提取隐层表示，然后将其送入到扩散模型中进行加噪去噪处理，最后再通过解码器生成新的网络参数子集。作者在多种架构和数据集上进行的实验表明，本文的扩散模型可以以较小的成本生成高质量的神经网络参数。

值得注意的是，Yann LeCun第一时间在社交媒体上对本文工作进行了转发和评论，他认为使用扩散模型来生成神经网络参数是一个非常有趣的想法。