【ECCV 2022】《Transformers as Meta-learners for Implicit Neural Representations》

最新推荐文章于 2025-08-02 11:26:09 发布

原创

最新推荐文章于 2025-08-02 11:26:09 发布 · 1.2k 阅读

25 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #计算机视觉

文章探讨了使用Transformer作为超网络改进隐式神经表示（INRs）的学习，提出了一种无梯度元学习方法，能够在稀疏观测下生成更精确的INR，且结果显示INRs能够捕捉底层数据结构。

文章目录

一、动机
二、相关工作
三、方法
四、实验部分
五、Does the INR Exploit Data Structures?
六、结论

一、动机

$\quad$ 与像素、体素和网格等离散数据表示相比，INRs不需要依赖于分辨率的二次或三次存储。它们的表示能力并不依赖于网格分辨率，而是依赖于神经网络的能力，神经网络可以捕获底层数据结构并减少表示的冗余，因此提供了一个紧凑（compact）而强大的连续（continuous）数据表示。

$\quad$ 但是，INRs有以下几个挑战：1）如果每个INR都是独立地从随机初始化开始学习，那么优化可能会很慢；2）如果给定的观测值是稀疏的，并且没有强先验，学习到的INR不能很好地推广到不可见的坐标。

$\quad$ 从高效构建INRs的角度出发，《Implicit neural representations with periodic activation functions》提出学习一个latent space，其中每一个INR可以被一个超网络的single vector解耦。可是，a single vector可能没有足够的能力捕捉复杂3D目标的细节。在重建时，single-vector modulated INRs最常用于表征局部，《Modulated periodic activations for generalizable local functional representations》。

$\quad$ 这篇工作启发于《MetaSDF》、《Learned init》，他们使用meta-learning来学习INRs。这些工作无需基于网格的表征，在没有single-vector bottleneck的情况下，可以高效、精确地推断INR weight。但是the computation of higher-order derivatives和a learned fixed initialization使它们不够灵活。

$\quad$ 因此，这篇文章提出使用Transformer作为INRs的hypernetwork。主要贡献如下：