AIGCer的博客

本文提出创新性4D生成框架GVF-Diffusion，通过"4D网格变分自编码器+高斯变分场扩散模型"双模块架构，实现高效视频到4D内容生成。关键突破包括：1）首创直接编码4D动画为紧凑隐空间的VAE，结合网格引导损失确保运动对齐；2）采用时间感知DiT架构的条件扩散模型，通过交叉注意力融合视频特征与3D高斯场；3）在合成数据训练下展现优秀真实视频泛化能力。实验表明，该方法在PSNR（25.37）、LPIPS（0.098）等指标上超越现有技术，单序列生成仅需4.5秒。

HoloTime框架提出了一种创新的方法，将静态全景图像转换为动态的4D场景，解决现有技术中沉浸体验受限、数据瓶颈和时空不一致性的问题。包括全景动画生成器和全景时空重建技术，通过两阶段运动引导生成策略和4D高斯泼溅（4D-GS）表征，实现了高质量的全景视频生成和4D场景重建。HoloTime还引入360World数据集，这是首个固定摄像机视角的全景视频综合数据集，为4D生成研究提供了重要支持。实验结果表明，HoloTime在全景视频生成质量和4D场景时空一致性方面均有显著提升，为元宇宙内容生产提供了新范式。