29、3D 场景合成：MiDaS、NeRF 与 3D 高斯散点渲染技术

3D 场景合成：MiDaS、NeRF 与 3D 高斯散点渲染技术

在当今科技飞速发展的时代，计算机视觉领域取得了显著的进步，尤其是在 3D 场景合成方面。本文将深入探讨几种关键技术，包括使用 MiDaS 进行图像深度估计、利用神经辐射场（NeRF）合成 3D 场景，以及 3D 高斯散点渲染技术，为你揭示这些技术的原理、应用和操作方法。

1. 图像深度估计技术概述

图像深度估计是计算机视觉中的一项基础任务，它使机器能够从 2D 图像或视频帧中感知场景的 3D 结构。传统上，深度估计严重依赖昂贵的硬件，如立体相机。然而，机器学习的出现彻底改变了这一领域，近年来研究人员发明了许多图像深度估计技术。

1.1 基于机器学习的深度估计方法

• MiDaS ：这是一种使用监督学习的技术，其模型在 10 个不同的数据集上进行了训练，采用多目标优化确保在广泛输入上的高质量表现。
• DINOv2 ：Facebook 的 DINOv2 模型利用自监督视觉变换器，可用于图像分类、实例检索、视频理解、语义分割和深度估计。

1.2 简单的人脸距离测量项目

在使用复杂的 AI 模型之前，我们可以通过一个简单的项目来测量人脸与笔记本电脑摄像头之间的距离。这个项目使用了 OpenCV、cvzone 和 mediapipe 库，还需要一个钥匙链卷尺进行校准。

1.2.1 原理

将笔记本电脑摄像头视为一个焦距为 (f) 的薄透镜。通常，(f) 的值约为几毫米，而人脸到摄像头的物距 (u) 约为 500 毫米