DLSS3.5 RayReconstruction

2023年画面扛把子，cyberpunk2077和alan wake2都在猛用的技术，就快速记录下；

overview

• ray reconstruct在dlss3.5中开始可以使用；
• GPU则是所有的RTX系列GPU
• 可以针对ray tracing的结果做类似dlss的TAA+Upsampling的工作，基于AI加持，效果远好于手撸denoiser
• 效果拔群，尤其是path tracing，几乎是必备的条件；
• ref：
• https://www.nvidia.com/en-us/geforce/news/gfecnt/202310/alan-wake-2-dlss-3-5-full-ray-tracing-out-this-week/
• https://www.nvidia.com/en-us/geforce/news/nvidia-dlss-3-5-ray-reconstruction/
• https://zhuanlan.zhihu.com/p/658095581

传统光追

这里是简单的传统光追的管线，由于光追的性能消耗，所以还是以一个低分辨率的离散的方式来渲染，然后denoiser->up scale

为何传统的denoiser+upscale是AI擅长的

denoiser&传统的方式基本集中于spacial+temporal信息手撸(e.g. SVGF–The Spatio-Temporal Variance Guided Filter)，根据各种情况来决定discard还是blend。。。
这里其实基本上就转化为TAA+Upscale的类似的问题，只是光追的情况比TAA情况更加复杂，手撸进行各种模式识别，显然干不过AI驱动的dlss；
想当年看各种TAA里的奇淫巧技，真的是恶心的不行，核心问题就是各种情况下，需要不同的处理方式，要想做好，就是一个要对n种情况识别出来，然后n中处理方法的情况；
简言之，这种问题就是一个AI适合的问题；

RayReconstruction

综上，这种n种情况，n中处理方式，就是一个training，然后输出即可；


道理就是这么个道理，里面黑盒的，反正效果各种好；

ray construction带来那些好处

• 更清晰：反射更加清晰精准
• 对光照变化的反馈更迅捷：可以更少的帧数得到足够好的结果，所以光线变化的时候，GI的反应足够快（传统需要很多帧，所以）
• 开发更省力：最怕这种需要匠心手调的东西，实际做的时候真有点无底洞的感觉，现在能够基于训练整好，perfect