pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction

---

Paper: 链接
Code: https://github.com/dcharatan/pixelsplat
Author: MIT, SFU

---

前置知识

1）几种常见的伪影

\quad ① ghosting artifacts：当摄像机运动，或者物体运动时，画面会在物体旧位置留下重影，其实就是残影。

\quad ② Blurring：和ghosting类似，都是把画面变糊，但是有区别。blurring指的是空域高频图像的细节损失，通常在锐利的边缘，如下图中，边缘模糊。导致这种伪影的原因，其实就是高频细节的丢失。

\quad ③ Ringing artifacts / Gibbs artifacts / Spectral leakage artifacts / truncation artifacts（振铃伪影）：图像的灰度剧烈变化处产生的震荡，就好像钟被敲击后产生的空气震荡。

\quad ④ Aliasing Artifacts（混叠伪影）：当对连续信号进行离散化（采样）时，如果采样频率过低，可能导致高频信号被误解为低频信号，产生混叠。该伪影往往由于采样频率不足而产生的"走样"效应，通常表现为图像中的锯齿状边缘（jaggies，左图）或周期性波纹（摩尔纹，moire pattern，右图）。

为了解决jagged sharp edges，一种方法叫做anti-aliasing（反走样），让边缘更光滑。如下图所示：

\quad ⑤ Floating artifacts（漂浮伪影）：漂浮是指某些区域的虚幻运动，而周围区域保持静止。从视觉上看，这些区域似乎漂浮在周围的背景之上。有两种类型的浮动:纹理浮动和边缘浮动。如下图出现了漂浮效应，从视觉上看，这些区域产生了一种强烈的错觉，就好像它们漂浮在叶子上。

\quad ⑥ Block Boundary Artifact（块效应）：不同的图像块进行了不同的处理，有时是量化步长不同，有时是舍去的高频分量不同，这将导致图像块之间的相关性被破坏。有点像马赛克。

\quad ⑦ Flickering Artifacts：场景中的高频着色区域，会有闪烁的现象。这是最需要重点解决的artifact，因为最难看，而且是在静态的时候都会出现。闪烁一般是指亮度或色度随时间的频繁变化(类似于蜡烛的火焰)，通常分为细粒忽明忽暗和粗粒忽明忽暗，如下图。

\quad ⑧ speckling artifacts：在医学图像学、雷达图像、激光雷达图像等领域中经常出现的一种现象，主要是由于波的干涉或光学干涉引起的，通常表现为图像中的随机亮暗斑点。这种伪影可以使用滤波技术、图像平滑算法以及在采集图像时使用多视角或多个传感器等来解决。

\quad ⑨ Jerkiness：抖动是一种类似闪烁的伪像，描述了对视频中的单个静止图像的感知。

2）small-baseline 与 large-baseline

\quad 这两个术语通常与立体视觉（stereo vision）或者三维重建有关。

• Small Baseline（小基线）：在立体视觉中，小基线通常用于处理近距离的场景，例如室内摄影或者近距离的物体。
• Large Baseline（大基线）：在立体视觉中，大基线通常用于处理遥远或广阔的场景，例如户外景观或者远距离的物体。
<