2025_NIPS_TC-Light: Temporally Coherent Generative Rendering for Realistic World Transfer

文章核心总结与翻译

一、主要内容

本文针对长时高动态视频的光照与纹理重渲染问题，提出了名为TC-Light的生成式渲染框架，旨在解决现有方法在时间一致性、计算效率及场景适应性上的局限性。该框架以SOTA图像重光照模型IC-Light为基础，通过零样本方式扩展为视频模型，并引入两阶段后优化机制，实现物理合理、时间连贯且低计算成本的跨场景视频重渲染。同时，作者构建了包含58个视频的长时高动态视频基准数据集，涵盖室内外、真实与合成场景及多种光照天气条件，用于全面评估模型性能。实验表明，TC-Light在时间一致性、文本提示对齐度、用户偏好及计算效率上均优于现有基线方法，可广泛应用于模拟到真实迁移（sim2real）、真实场景数据扩充等嵌入式AI相关任务。

二、创新点

1. 零样本视频模型扩展：提出衰减多轴去噪（decayed multi-axis denoising）策略，通过衰减噪声权重和噪声统计对齐，将图像重光照模型IC-Light高效扩展为视频模型，兼顾运动引导与目标光照一致性。
2. 两阶段后优化机制：
   • 第一阶段：引入每帧外观嵌入（appearance embedding），通过光度损失和光流对齐损失补偿曝光差异，保证全局光照一致性。
   • 第二阶段：提出独特