pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction

Iron_lyk

已于 2024-01-01 12:51:08 修改

阅读量4.3k

点赞数 35

CC 4.0 BY-SA版权

分类专栏：论文阅读笔记文章标签： 3d 计算机视觉人工智能

于 2024-01-01 12:49:57 首次发布

本文链接：https://blog.youkuaiyun.com/DUDUDUTU/article/details/135323906

文章目录

前置知识
正文

Paper: 链接
Code: https://github.com/dcharatan/pixelsplat
Author: MIT, SFU

前置知识

1）几种常见的伪影

$\quad$ ① ghosting artifacts：当摄像机运动，或者物体运动时，画面会在物体旧位置留下重影，其实就是残影。
在这里插入图片描述
$\quad$ ② Blurring：和ghosting类似，都是把画面变糊，但是有区别。blurring指的是空域高频图像的细节损失，通常在锐利的边缘，如下图中，边缘模糊。导致这种伪影的原因，其实就是高频细节的丢失。

$\quad$ ③ Ringing artifacts / Gibbs artifacts / Spectral leakage artifacts / truncation artifacts（振铃伪影）：图像的灰度剧烈变化处产生的震荡，就好像钟被敲击后产生的空气震荡。
在这里插入图片描述

$\quad$ ④ Aliasing Artifacts（混叠伪影）：当对连续信号进行离散化（采样）时，如果采样频率过低，可能导致高频信号被误解为低频信号，产生混叠。该伪影往往由于采样频率不足而产生的"走样"效应，通常表现为图像中的锯齿状边缘（jaggies，左图）或周期性波纹（摩尔纹，moire pattern，右图）。
在这里插入图片描述
为了解决jagged sharp edges，一种方法叫做anti-aliasing（反走样），让边缘更光滑。如下图所示：

$\quad$ ⑤ Floating artifacts（漂浮伪影）：漂浮是指某些区域的虚幻运动，而周围区域保持静止。从视觉上看，这些区域似乎漂浮在周围的背景之上。有两种类型的浮动:纹理浮动和边缘浮动。如下图出现了漂浮效应，从视觉上看，这些区域产生了一种强烈的错觉，就好像它们漂浮在叶子上。
在这里插入图片描述

$\quad$ ⑥ Block Boundary Artifact（块效应）：不同的图像块进行了不同的处理，有时是量化步长不同，有时是舍去的高频分量不同，这将导致图像块之间的相关性被破坏。有点像马赛克。
在这里插入图片描述
$\quad$ ⑦ Flickering Artifacts：场景中的高频着色区域，会有闪烁的现象。这是最需要重点解决的artifact，因为最难看，而且是在静态的时候都会出现。闪烁一般是指亮度或色度随时间的频繁变化(类似于蜡烛的火焰)，通常分为细粒忽明忽暗和粗粒忽明忽暗，如下图。
在这里插入图片描述
$\quad$ ⑧ speckling artifacts：在医学图像学、雷达图像、激光雷达图像等领域中经常出现的一种现象，主要是由于波的干涉或光学干涉引起的，通常表现为图像中的随机亮暗斑点。这种伪影可以使用滤波技术、图像平滑算法以及在采集图像时使用多视角或多个传感器等来解决。
在这里插入图片描述
$\quad$ ⑨ Jerkiness：抖动是一种类似闪烁的伪像，描述了对视频中的单个静止图像的感知。