- 博客(80)
- 收藏
- 关注
RSS订阅原创 【浙大&南洋理工最新综述】Feed-Forward 3D Scene Modeling（五）
尽管前馈三维重建领域已取得了显著进展，仍面临诸多挑战与机遇，这些将塑造下一代研究的走向。本节重点探讨从数据与表示的基础性问题，到学科更广泛概念发展的若干前景方向。
2026-04-22 21:31:39
485
原创 【浙大&南洋理工最新综述】Feed-Forward 3D Scene Modeling（四）
我们在表1中总结了广泛使用的数据集中的各种场景类别和标注格式。我们主要指明了数据量，将其分为，并明确数据来自。我们还引入了一个新的分类视角，即根据数据集是还是进行分类，如图8所示。，而不是从图像重建得到的几何信息。。相比之下，。引入这一区分，为3D重建社区提供了一个重要的概念性贡献。
2026-04-21 21:38:19
595
原创 【浙大&南洋理工最新综述】Feed-Forward 3D Scene Modeling（三）
现有的3D重建方法要么依赖于缓慢的逐场景优化，要么需要庞大的可泛化模型，因此难以适用于实时应用和内存受限的环境。总体而言，离线时序感知模型与上一轮介绍的在线模型形成互补：在线模型追求低延迟和实时流式处理，而离线模型优先保证全局一致性和重建质量，适用于对时序连贯性要求较高的非实时应用场景。总体而言，这些方法共同推动了在线、实时、可扩展的4D重建技术发展，各自在不同维度（计算效率、形变处理、长序列一致性、可扩展性、尺度稳定性）上做出了针对性贡献，适用于从实时交互到长时间动态场景重建的广泛应用。
2026-04-20 23:02:49
549
原创 【浙大&南洋理工最新综述】Feed-Forward 3D Scene Modeling（二）
早期CNN/U-Net方法核心贡献：建立图像特征到3D表示的映射基础代表方法：PixelNeRF（全卷积条件化）、IBRNet（射线Transformer）、Splatter Image（U-Net预测3DGS）、NeuRay（可见性预测增强一致性）Transformer方法两阶段Transformer：GNT（视图Transformer + 射线Transformer）LRM系列：LRM/Instant3D（ViT + Transformer解码器 → 三平面特征网格）；
2026-04-19 22:03:08
552
原创 【浙大&南洋理工最新综述】Feed-Forward 3D Scene Modeling（一）
从二维输入重建三维表示是计算机视觉与图形学中的一项基础任务，是理解和交互物理世界的基石。传统方法虽能实现高保真度，但受限于逐场景优化速度慢或需按类别训练，阻碍了其实际部署与可扩展性。因此，近年来可泛化的前馈式三维重建技术发展迅速。这类方法通过训练一个模型，使其在单次前向传递中直接将图像映射为三维表示，从而实现了高效重建和跨场景的鲁棒泛化。
2026-04-17 17:48:10
606
原创 【3D硬核】四元数（Quaternions）与旋转矩阵（Rotation）——三维空间中的旋转
四元数 q 由一个实部 w 和一个三维向量部分 v 组成：其基本规则蕴含了非交换性这里的乘法是叉积。因为 p 在公式中被左右各“操作”了一次，旋转角会叠加。为了得到总角度 θ，我们构造 q 时必须使用半角这不仅解决了代数封闭性，还引出了四元数的双倍覆盖（Double Cover）特性：q 和 −q 在三明治变换下对 p的作用是完全一样的：在三明治变换中，如果我们把 q 替换为 −q，所以，从代数结果看，q 和 −q 对向量 p 产生的位移完全一致。
2026-04-14 23:19:07
1379
原创 以前的一篇Multi-View Stereo介绍
本教程提供了多视角立体视觉领域的实践视角，重点介绍实用算法。多视角立体视觉算法能够仅从图像中构建高度详细的三维模型。这些算法通过处理可能非常庞大的图像集，构建出一个在合理假设下能够解释这些图像的三维几何结构，其中最重要的假设是场景的刚性。教程将多视角立体视觉问题定义为图像与几何一致性优化问题，并详细描述其两个核心要素：光度一致性度量的鲁棒实现和高效优化算法。接着，教程介绍了一些最成功的算法如何利用这些核心要素，应用于实际场景，并作为产品在工业中部署。
2026-04-11 10:37:35
443
原创 场景重建-URBANGS（下篇）
在获取全局粗糙的 3DGS 模型时（CityGS一开始是用极低的分辨率或者少量的数据，把整个大场景跑一遍，得到一个粗糙但整体一致的 3DGS 模型），我们先通过 SAGP 剪枝（Pruning）来消除冗余的高斯点，以防止这些冗余的高斯点在随后的分块训练期间吸引无贡献的视角，从而增加计算负荷。然后，在分区阶段，我们在每个子块的边界处保留了公共的高斯，以避免因为区块之间的几何不连续而引入肉眼可见的融合伪影（接缝瑕疵fusion artifacts）。
2026-04-11 00:17:29
450
原创 回归！场景重建-URBANGS（上篇）
虽然 3D 高斯泼溅（3DGS）能够实现有限场景的高质量实时渲染，但将其扩展到大规模城市环境时，在几何一致性内存效率和计算可扩展性方面面临严峻挑战。为了解决这些问题，我们提出了UrbanGS—— 一个能有效应对城市级应用挑战的可扩展重建框架。首先，我们提出了一种深度一致的 D-Normal 正则化模块。不同于仅依赖单目法线估计的现有方法（这类方法虽能有效更新旋转参数，但难以更新位置参数），我们的方法将 D-Normal 约束与外部深度监督相结合，从而实现了对所有几何参数的全面更新。其次，通过引入。
2026-04-08 23:58:49
461
2
原创 【基础回顾】针孔相机、深度、逆深度、与SfM的统一
在标准 pinhole 模型中，成像平面在距离相机原点 O 的位置为 f（焦距），投影公式为：如果我们把焦距标准化为 f=1，就得到归一化图像坐标单位不是像素，而是相机坐标系下的比值（长度比）。原点在光轴中心（即相机光心正下方）。这是一个虚拟成像平面，通常称为。深度越大，投影越靠近图像中心（透视收缩效果）深度 Z投影效果小（近）放大、明显位移大（远）缩小、收紧到中心Z_c1/Z_c1m1.02m0.510m0.1100m0.01大模型深度是相对尺度， 不能直接用。
2025-12-30 23:33:04
1268
原创 【Feedforward 3dgs】YOU ONLY NEED ONE MODEL
从非结构化图像集合中进行快速、灵活的3D场景重建仍是一项重大挑战。我们提出了YoNoSplat——一种前馈模型，能够从任意数量的图像中重建高质量的3D高斯泼溅表示。该模型具备高度通用性，无论是具有位姿信息还是无位姿信息、经过标定或未标定的输入，均能高效运行。YoNoSplat为每个视角预测局部高斯与相机位姿，并通过预测或提供的位姿将这些局部信息聚合为全局表示。
2025-12-29 23:22:01
918
原创 ConeGS：误差导向的高斯球稠密化新策略
3D Gaussian Splatting（3DGS）在新视角合成中实现了最先进的图像质量和实时性能，但往往受到原语在空间分布不理想的影响。这个问题源于基于克隆的加密（densification）策略：它会沿着现有几何结构复制高斯，使得对空间的探索受限，并且需要大量原语才能充分覆盖场景。我们提出 ConeGS，一种独立于现有场景几何状态的、基于图像空间的信息驱动的加密框架。
2025-12-10 22:59:57
910
原创 NExF——建立3D空间上的曝光场辅助重建
神经场景表示（Neural Scene Representations）的最新进展，使得三维重建与视图合成的质量达到了前所未有的高度。尽管这些方法在经过精心整理的数据集（如常见的基准测试）上能获得高质量结果，但当输入数据存在每张图像的曝光差异（per-image variations）时，效果往往会显著下降。例如，在同时包含室内与室外区域、或有窗户的房间等场景中，这种问题尤为明显。在本文中，我们提出了一种新的方法——神经曝光场（Neural Exposure Fields, NExF）
2025-10-21 23:14:08
865
原创 Pixel-Perfect：生成像素级深度&细节深度提升
本文提出，一种基于像素空间扩散生成的单目深度估计模型，能够从预测的深度图中恢复高质量、无飞点（flying pixels）的点云。目前的生成式深度估计模型通常通过微调 Stable Diffusion 来实现出色的性能。然而，这类方法需要使用 VAE（变分自编码器）将深度图压缩到潜空间中，这一过程不可避免地会在边缘和细节处引入飞点伪影。我们的模型通过直接在像素空间中执行扩散生成，避免了由 VAE 引起的伪影问题。
2025-10-14 23:15:18
1168
原创 【VGGT-X】：尝试将VGGT用到3DGS重建中去
我们研究了将三维基础模型（3D Foundation Models，简称 3DFMs）应用于高密度新视图合成（Dense Novel View Synthesis, NVS）的问题。尽管基于NeRF和3DGS的新视图合成技术已经取得了显著进展，但当前的方法仍然依赖于SfM获得的精确三维属性（例如相机位姿和点云）。然而，SfM 通常速度缓慢，并且在低纹理或视角重叠度低的场景中极易失效。最近的3D 基础模型（3DFMs）展示出了相较于传统流程数量级级别的加速，并在在线新视图合成任务中展现出巨大潜力。
2025-10-12 17:53:26
3722
原创 LOBE-GS：分块&致密化效率提升
3D高斯散射（3DGS）已成为实现实时高保真3D场景重建的高效表征方法。然而，将该技术扩展到城市街区等大规模无边界场景时仍面临挑战。现有分治方法通过场景分块虽缓解了内存压力，却引入了新的瓶颈：（i）均匀划分或启发式分割无法反映实际计算需求，导致分区负载严重失衡；（ii）粗-精处理流水线未能有效利用粗阶段成果，往往需要重新加载完整模型并产生高昂开销。本研究提出LoBE-GS——一个经重新设计的大规模3DGS框架，通过负载均衡与效能优化机制突破现有局限。深度感知分区方法将预处理时间从数小时缩短至分钟级；
2025-10-08 21:15:14
1545
原创 NeRF+3DGS——提升渲染质量与压缩模型参数
3DGS作为一种强有力的 NeRF 替代方案逐渐兴起，它通过显式、可优化的三维高斯实现了实时的高质量新视角合成。然而，3DGS 依赖于逐高斯（per-Gaussian）的参数来建模视角相关效应和各向异性形状，这导致了显著的内存开销。尽管已有研究提出利用神经场对 3DGS 进行压缩，但这些方法在捕捉高斯属性的高频空间变化方面存在困难，进而导致细节重建质量下降。我们提出，一种结合显式高斯与神经场优势的新型场景表示方法。HyRF 将场景分解为两部分：(1) 一个紧凑的显式高斯集合，仅存储关键的高频参数；
2025-09-28 20:46:43
1268
原创 【经典重建综述】from MVS to 3DGS——计算机到底如何理解我们所处的真实世界？（下篇）
本文翻译自：作者：Shuai Liu, Mengmeng Yang, Tingyan Xing, Ran Yang期刊：Sensors（MDPI），2025 年，第 25 卷，第 18 期，文章号 5748原文版权信息：本文原文发表于 MDPI 期刊，根据 Creative Commons Attribution (CC BY) 许可协议开放获取（Open Access）。本文为译文，仅供学习与学术交流使用。如需引用或研究，请以原文为准。上篇讲了从sfm到nerf，下篇主要关注3dgs。
2025-09-24 10:20:16
1590
原创 【经典重建综述】from MVS to 3DGS——计算机到底如何理解我们所处的真实世界？（上篇）
三维（3D）重建技术不仅是计算机视觉与图形学中的核心关键技术，同时也是推动虚拟现实（VR）、增强现实（AR）、自动驾驶以及数字地球等诸多前沿应用蓬勃发展的重要动力。随着神经辐射场（NeRF）和三维高斯溅射（3DGS）等新型视图合成技术的兴起，三维重建正面临前所未有的发展机遇。本文介绍了传统三维重建方法的基本原理，包括运动恢复结构（SfM）和多视图立体（MVS）技术，并分析了这些方法在处理复杂场景和动态环境时的局限性。
2025-09-23 09:15:00
1692
翻译 综述：3D and 4D World Modeling（method）
世界建模已成为人工智慧研究的基石，使智能体能够理解、表示并预测其所处的动态环境。以往的研究大多强调针对2D 图像和视频数据的生成式方法，却忽视了快速增长的、基于原生 3D 与 4D 表示（如 RGB-D 影像、占据网格、LiDAR 点云）的 大规模场景建模研究。与此同时，由于缺乏对“世界模型”的标准化定义与分类体系，现有文献中出现了零散甚至不一致的论述。本综述旨在填补这一空白，首次对3D 与 4D 世界建模与生成进行全面梳理。我们给出精确的定义，并提出一个结构化的分类法，涵盖。
2025-09-19 03:45:00
579
原创 3DGS压缩-Knowledge Distillation for 3DGS
如何轻量化一个复杂并且冗余的神经网络，答案是做蒸馏与dropout，同样的问题也出现在了3DGS上，这里的一个trade-off在于：高效压缩与质量不下降，之前一些压缩工作在这两个方向之间来回摇摆。时值3DGS发布两年，The University of Manchester的学者给出了一个均衡的方案，尽管GS时离散且显式的表达方式，但是作者仍以一种巧妙的方式套用传统的神经网络轻量化的思路。
2025-09-16 11:32:29
1782
2
原创 feed-forward系列工作集合与跟进（9月）
近年来的研究越来越关注通过利用注意力图的结构来降低稠密注意力的二次复杂度。然而，针对 LLM 的技术通常依赖自回归假设，例如推理时的因果掩码（causal masking）和 KV 缓存（KV-caching），这些方法不能直接应用于视觉模型中使用的连续二维 token 网格的注意力计算。一种更通用的方法是。
2025-09-16 03:15:00
2023
翻译 Radiance Fields in XR: A Survey on How Radiance Fieldsare Envisioned and Addressed for XR Research
本文翻译自：标题：Radiance Fields in XR: A Survey on How Radiance Fieldsare Envisioned and Addressed for XR Research作者：Ke Li , Mana Masuda , Susanne Schmidt , Shohei Mori许可：Deed - Attribution 4.0 International - Creative Commons 原文链接：https://www.arxiv.org/pdf/
2025-09-07 22:02:04
54
原创 OpenCV-Python Tutorial : A Candy from Official Main Page（五）
导入 OpenCV读取图像并转为灰度图创建检测器检测关键点(可选) 绘制/使用关键点或直接访问kp列表中的属性进行计算。
2025-09-01 23:27:19
1014
1
原创 Part 1️⃣：相机几何与单视图几何-第六章：相机模型
这一部分主要探讨单视角相机的几何学，包含三个章节。第六章描述了3D场景空间到2D图像平面的投影过程。相机映射由一个矩阵表示，对于点的映射而言，这是一个3×4矩阵P，它将3D空间中世界点的齐次坐标映射到图像平面上成像点的齐次坐标。该矩阵通常具有11个自由度，相机属性（如相机中心和焦距）可从中提取。特别地，内部相机参数（如焦距和纵横比）被封装在一个3×3矩阵K中，该矩阵可通过简单分解从P获得。相机矩阵有两类特别重要的类型：有限相机和中心位于无穷远处的相机（如表示平行投影的仿射相机）。
2025-08-27 18:53:06
1321
原创 【Transient-Free 3DGS】delayed densification + coarse to fine增加GS的鲁棒性
我们的方法基于近期联合优化3D表示与瞬态物体掩码的鲁棒3DGS方法[Spotlesssplats]。瞬态掩码选择性过滤图像中的动态区域同时通过为掩码MLP优化提供更精确的监督来改进场景建模。
2025-08-21 21:45:49
1272
原创 OpenCV-Python Tutorial : A Candy from Official Main Page（四）
在这一章中，我们将尝试理解什么是"特征"，为什么它们很重要，为什么角点（corners）是重要的特征等问题。1.什么是特征在计算机视觉中，"特征"是指图像中具有独特性的、易于识别的部分。比如：边缘（Edges）、角点（Corners，也称为兴趣点/关键点）、斑点（Blobs，也称为感兴趣区域）。图像匹配：找到两幅图像中的相同部分目标检测：识别图像中的特定物体跟踪：跟随视频中物体的运动3D重建：从多视角图像构建三维模型2.为什么角点很重要角点是两条边缘的交点，代表图像中两个方向变化最大的点。
2025-08-21 09:43:09
1130
原创 feed-forward系列工作集合与跟进（截止8月）
自vggt获得cvpr 2025 best paper以后，feed-forward系列工作暂停了一小阶段之后，目前又进入了一个大爆发期，而我们不难看出，自dust3r到vggt基本奠定了feed-forward系列的pipeline，比如对于MVS类的工作，其框架基底是：输入图像，经过transformer以后，输出大家关心的pose、pointmap、confidence、depth等信息；对于3r框架接续3DGS的工作，其框架基底是：输入图像，经过transformer以后，输出N个高斯球对应的属性。
2025-08-14 22:15:48
2007
原创 【重建技巧】Urban Scene Reconstruction-LoD&细节提升
实验结果表明，本方法在城市级场景重建任务中，无论在效率还是质量方面均显著优于现有技术方案。
2025-08-09 23:48:27
1403
原创 Part 0：射影几何，变换与估计-第五章：算法评估与误差分析
蒙特卡洛方法（Monte Carlo Method）是一种基于随机采样的数值计算技术，通过大量重复实验逼近复杂问题的解。其核心思想是“用随机性解决确定性难题”，尤其在解析解难以获得或计算成本过高时表现出色。5.3.2方差的蒙特卡洛估计当线性假设不成立（如噪声较大或估计方法非最大似然）时，解析法计算的协方差可能不准确。蒙特卡洛方法通过随机模拟提供更鲁棒的协方差估计。方法对比方法解析法（前文）蒙特卡洛法假设条件曲面局部线性 + ML估计无严格假设，仅需噪声分布模型计算复杂度低（矩阵运算）
2025-08-05 06:00:00
1836
原创 【大场景子母篇(母)】Hierarchical 3D Gaussian
先抛出问题，为什么需要hierarchical gaussian？因为如果模型或者场景过大，我们的渲染压力就会很大，比如，我们现在训练好一个1000w个高斯球的模型，我们近距离查看它，只需要渲染视锥内的高斯球即可，如果我们距离拉的很远来查看，那就会渲染全部的1000w个高斯球，这种情况下计算成本大大增加，可能出现的一种情况就是拖拉模型过程中卡顿，并且主观来说，想看细节拉近模型即可，我们有必要在远视角的情况下脸贴到屏幕上去看细节吗？
2025-08-04 03:30:00
3132
2
翻译 【综述】从MVS、NeRF到3DGS的feed-forward方法以及应用
三维重建与视图合成是计算机视觉、图形学及增强现实（AR）、虚拟现实（VR）、数字孪生等沉浸式技术领域的核心课题。传统方法依赖计算密集型迭代优化流程，复杂的处理链条限制了其在实际场景中的应用。近年来，基于深度学习的前馈式方法取得突破性进展，通过实现快速、可泛化的三维重建与视图合成彻底改变了这一领域。
2025-07-27 03:30:00
2558
原创 Part 0：射影几何，变换与估计-第四章：2D射影变换的估计
迭代最小化方法本节描述了如何最小化第4.2节和第4.3节中提出的各种几何代价函数。开始│▼[选择代价函数] → 单图像/对称/黄金标准/Sampson│▼[参数化策略] → 过参数化/约束参数化│▼[初始化] → 归一化DLT/RANSAC│▼[迭代优化] → LM/牛顿法/稀疏优化│▼[收敛判断] → 参数变化/代价变化/最大迭代│▼输出 H^*
2025-07-25 01:30:00
932
原创 【超越VGGT】π3-利用置换等变方法去除3r系列的归纳偏置
我们推出π3——一种前馈神经网络，其通过创新性的视觉几何重建方法，突破了传统固定参考视图的局限。现有方法通常将重建结果锚定在指定视角，这种归纳偏置容易因参考视图不佳而导致重建不稳定甚至失败。相比之下，
2025-07-20 23:57:54
2069
原创 【论文笔记】OccluGaussian解决大场景重建中的区域遮挡问题
现有大规模场景重建研究[22,28,32,47,49,51]主要采用辐射场作为基础三维表征，如神经辐射场(NeRF)[33]和3D高斯泼溅(3DGS)[21]。基于NeRF的方法因其隐式表征需要大量训练与渲染资源，难以扩展至富含细节的大规模场景。3DGS作为基于图元的栅格化技术，同样因其内存密集型表征面临可扩展性问题，极易超出高端GPU的显存容量。为此，研究者通常采用分治策略：将场景划分为若干更易处理的小区域分别重建，最终合并为完整模型。
2025-07-20 09:40:49
1384
原创 OpenCV-Python Tutorial : A Candy from Official Main Page（三）
将图像从空间域（像素强度）转换到频域（频率成分），用于分析图像中的高频（边缘、噪声）和低频（平滑区域）信息。如果原始图像中有明显的边缘（如物体的轮廓），幅度谱的外围会显示对应的亮点。的函数，在频域处理中常用于从傅里叶变换的复数结果（实部 + 虚部）中提取。这两个函数是图像频域处理（如去噪、边缘增强、纹理分析）的基础工具。如果图像整体较模糊（低频主导），幅度谱的中心区域会更亮。：幅度谱是中心对称的（因为DFT的结果是共轭对称的）。（图像中的平滑区域，如背景或缓慢变化的颜色）。（图像中的边缘、纹理或噪声）。
2025-07-15 22:38:00
767
原创 【深度估计】MVSA-多视图一致性的深度估计transformer
从多视角图像中计算精确深度是计算机视觉领域一项基础而长期的挑战。然而，现有大多数方法在不同领域和场景类型（如室内与室外）间的泛化能力较差。训练通用多视角立体模型面临诸多挑战，例如：如何最优利用基于Transformer的架构？当输入视角数量可变时如何整合额外元数据？以及如何估计有效深度范围（该范围在不同场景间差异显著且通常无法预先获知）？针对这些问题，我们提出MVSA——一种新颖且通用的"多视角立体视觉任意场景适配"架构，通过跨领域和深度范围的泛化实现全域适用。
2025-07-13 11:20:51
1331
原创 【论文笔记】BlockGaussian：巧妙解决大规模场景重建中的伪影问题
三维高斯泼溅（3DGS）技术的最新进展在新视角合成任务中展现出非凡潜力。分治策略虽已实现大规模场景重建，但在场景分区、优化与融合环节仍存在显著挑战。本文提出BlockGaussian创新框架，通过内容感知的场景分割策略和可见性感知的区块优化技术，实现高效优质的大规模场景重建。具体而言，我们的方法基于不同区域的内容复杂度差异进行动态分区，从而平衡计算负载，提升重建效率。针对区块独立优化时的监督失配问题，我们在单个区块优化过程中引入辅助点以对齐真实监督信号，显著提升重建质量。
2025-07-08 13:42:06
2216
2
原创 Part 0：射影几何，变换与估计-第三章：3D射影几何与变换
变换类型矩阵形式自由度关键不变性（Invariants）典型应用场景射影变换15共线性、交比（Cross-ratio）透视成像（Perspective）仿射变换12平行性、体积比正交投影（Orthographic）相似变换7角度、形状（各向同性缩放）结构运动（SfM）欧氏变换6长度、角度、绝对体积刚体运动（Rigid Motion）刚体运动欧氏变换的子类（无缩放）6与欧氏变换相同机器人位姿估计1.自由度分解7自由度（相似变换）：旋转（3） + 平移（3） + 均匀缩放（1）。
2025-07-03 21:11:59
1059
原创 OpenCV-Python Tutorial : A Candy from Official Main Page（二）
图像金字塔有两种，一种是高斯金字塔，一种是拉普拉斯金字塔。高斯金字塔是一种多分辨率图像表示方法，通过对图像逐层降采样（缩小）生成一系列分辨率递减的图像集合。其核心思想是模拟人眼观察物体时从粗到细的感知过程，广泛应用于图像缩放、特征提取、图像融合等任务。拉普拉斯金字塔是一种基于高斯金字塔的多尺度图像表示方法，通过差分操作提取不同分辨率下的高频细节信息，常用于图像融合、压缩和增强等任务。其核心思想是存储高斯金字塔相邻层之间的丢失信息，从而实现图像的无损重建。对图像进行高斯平滑（模糊）并降采样（缩小到 1/4 大
2025-07-01 23:07:27
1022
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人