[小白读文献] Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction

摘  要

       三维高斯溅射(3DGS)在图像绘制和表面重建方面显示出良好的效果。然而，其在体积重建任务(如x射线计算机断层扫描)中的潜力仍未得到充分开发。本文介绍了第一个基于3D-GS的稀疏视图层析重建框架-Gaussian。通过仔细推导x射线光栅化函数，我们发现在标准3D-GS公式中存在以前未知的积分偏差，这妨碍了准确的体积恢复。为了解决这个问题，我们提出了一种新的校正技术，通过重构从3D到2D高斯的投影。

三个关键创新:(1)引入量身定制的高斯核，(2)将光栅化扩展到x射线成像，(3)开发基于cuda的可微分体素化。在合成数据集和真实世界数据集上的实验表明，我们的方法在准确性和效率方面优于最先进的方法。它在4分钟内提供高质量的结果，比基于NeRF-based的方法快12倍，与传统算法相当。

名词解释

光栅化函数：光栅化（Rasterization）是计算机图形学中，将矢量图形（如多边形）转换为光栅图像（由像素组成的图像）的过程。它是现代图形渲染管线中的关键步骤，广泛应用于图形硬件（GPU）上，如显示屏渲染、游戏图像处理、虚拟现实等。光栅化的核心目标是将一个几何图形（通常是三角形）转换为屏幕上的像素，并根据该图形的属性（如颜色、纹理、深度等）为每个像素赋值。

体积恢复（Volume retrieval）：体积恢复（Volume Retrieval）是指从可用数据中恢复或估计物体、区域或场景的三维结构或体积的过程，通常应用于计算机视觉、计算机图形学、医学成像和3D形状重建等领域。该术语通常用于描述从部分或间接信息推断出完整的体积表示的任务。它是许多领域中，如3D物体重建、场景理解和体积渲染等任务中的核心内容。

可微分体素化器（voxelizer）：是一个可以将三维几何体（如网格或点云）转换为体素网格的过程，并且这个过程对于输入参数是可微分的。换句话说，能够计算体素化过程中的梯度，从而可以在神经网络训练或优化中反向传播误差。

一、介 绍

现有的层析成像方法存在重构质量不理想或处理速度慢的问题。传统的CT算法可以在几分钟内得到结果，但会产生严重的伪影。基于监督学习的方法通过学习语义先验获得了有希望的结果，但难以处理分布外的对象。最近，神经辐射场（neural radiance fields, NeRF）已被应用于断层扫描，并在个案重建中表现良好。然而，它们非常耗时（大约30分钟），因为必须对大量的点进行采样以进行体渲染。

3D高斯溅射(3DGS)在视图合成和表面重建的质量和效率方面都优于NeRF。然而，尝试将3DGS技术应用于体积重建任务，如x射线断层扫描，是有限和无效的。一些同时进行的工作经验地修改了3DGS用于x射线视图合成，但他们仅仅将其视为传统断层扫描算法的数据增强工具。到目前为止，还没有基于3DGS的直接CT重建方法。

本文提出了 3DGS 中的固有的积分偏差。这种偏差对图像渲染的影响可以忽略，但严重阻碍了体积重建。标准3DGS 在将 3D 高斯核投影到 2D 图像平面上时忽略了与协方差相关的缩放因子。这种公式导致从不同视图查询的体积属性不一致。除了积分偏差之外，将 3DGS 应用于断层扫描还面临其他挑战，例如自然光和X射线成像之间的差异以及缺乏从核查询体积的有效技术。

-Gaussian拓展到稀疏层析重建，提出一个无偏差训练通道：

  1.引入了一种新的辐射高斯核作为一个局部密