NeRF OpenCV OpenGL COLMAP DeepVoxels坐标系朝向

已于 2022-09-30 20:28:59 修改
阅读量5.2k 收藏 25
点赞数 11
CC 4.0 BY-SA版权
分类专栏： 计算机视觉/图形学 文章标签： opencv 计算机视觉 python
于 2022-09-02 21:08:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/OrdinaryMatthew/article/details/126670351
本文探讨了OpenCV、COLMAP、DeepVoxels以及NeRF等在计算机视觉和图形学中采用的不同坐标系。OpenCV、COLMAP和DeepVoxels的坐标系中，X轴指向右，Y轴向下，Z轴向前，而OpenGL和NeRF的坐标系则相反，X轴向右，Y轴向上，Z轴向后。位姿矩阵的解释也包括在内，其中前3列对应旋转和平移变换，最后一列用于投影。了解这些坐标系的传统对于跨不同框架的工作至关重要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

OpenCV坐标系朝向

x points right, y points down, z points towards scene
即
[right, down, forwards]

The local camera coordinate system of an image is defined in a way that the X axis points to the right, the Y axis to the bottom, and the Z axis to the front as seen from the image.

  • DeepVoxels 也是用这个传统。

在这里插入图片描述

图1. OpenCV，COLMAP, DeepVoxels 坐标系朝向

OpenGL坐标系朝向

x points right, y points up, z points backwards scene
即
[right, up, backwards]
——————————NeRF——————————————

  • NeRF 原始论文采用的是这个传统。

——————————NeRF——————————————

  • 这种坐标系朝向在计算机图形学的一些教材中是 Canonical Coordinate System的朝向。

在这里插入图片描述

图2. OpenGL，NeRF 坐标系朝向

在这里插入图片描述

图3. NeRF Github Readme说明 坐标系朝向

pose 矩阵含义

最右列的 3 个矩阵元素 (m12, m13, m14) 用于平移变换。 元素 m15 是齐次坐标。 它专门用于投影变换。

3 个元素集，(m0, m1, m2), (m4, m5, m6) 和 (m8, m9, m10) 用于欧几里得和仿射变换，例如旋转或缩放。 请注意，这 3 个集合实际上代表 3 个正交轴；

  • (m0, m1, m2) : 与 X 轴有关。
  • (m4, m5, m6) : 与 Y 轴有关。
  • (m8, m9, m10) : 与 Z 轴有关。

在这里插入图片描述

图4. 位姿矩阵的 4 列

参考

  1. NeRF , OpenCV, OpenGL，DeepVoxel 和 COLMAP 的坐标系传统信息来自NeRF开源代码的Issue#8。
  2. OpenGL Transformation
  3. 图3的Github链接
计算机视觉 了解OpenCV、COLMAP、PyTorch3D 和 OpenGL 中坐标系3D转换的简要指南
学以致用 知行合一
03-04 1542
由于坐标系不同，在和等 3D 框架的世界中进行转换可能会令人觉得头疼。这里比较它们的坐标系并提供它们之间转换的工具。核心还是找到在这些不同的 3D 环境中无缝工作所需的知识，让我们以清晰直接的方式探索和理解这些坐标系。2D 成像与 3D 建模之间的差距需要对坐标系的扎实掌握，坐标系为三维环境中的对象定向提供了结构框架。这些轴相交的原点是锚定所有空间测量的关键参考。在 OpenCV、COLMAP、PyTorch3D 和 OpenGL 等各种框架中正确对齐对象取决于这些轴的方向。
NeRF坐标变换colmap到llff数据格式（可视化解释）
m0_62577716的博客
02-19 1303
原本的相机位姿矩阵是4x4的（包括旋转和位移），而我们关心的是相机的旋转部分（3x3）和位移部分（1x3）。示例数据中，图像ID为1的图像使用了四元数`(0.9966, -0.0797, 0.0181, -0.0050)`表示旋转，平移向量为`(-0.0933, -0.5783, -1.4142)`，相机ID为1，图像名称为`00204549_3820006713.jpg`，，使其符合特定的坐标系约定（从[r, -u, t]转换为[-u, r, -t]），以便后续使用。
OpenGL中各种坐标系的理解
weixin_30480583的博客
03-18 754
OPENGL坐标系可分为：世界坐标系和当前绘图坐标系。 世界坐标系：在OpenGL中，世界坐标系是以屏幕中心为原点(0, 0, 0)，且是始终不变的。你面对 屏幕，你的右边是x正轴，上面是y正轴，屏幕指向你的为z正轴。长度单位这样来定： 窗口范围按此单位恰好是(-1,-1)到(1,1)，即屏幕左下角坐标为（-1，-...
3dmax,Opencv,OpenGL坐标系转换，渲染相关方法
WilsonAir的博客
05-03 3002
在有些使用场景中，我们需要用到 1. 3dsMax 1.1外参数的导出 选中相机，点击菜单栏动画->保存动画->选择路径保存，用记事本打开这个 .xaf 文件，然后里面就会有相机的运动 变换矩阵T(R ,t)，这里的R t是3dmax特有的格式，导出来的格式如下： ......... <S t="0" v="0.933731 -0.357975 -0.001112 0....
Opencv 的坐标方向
l275596727的专栏
06-04 4285
OpenCV坐标方向 由于太久没有碰Opencv了， 对opencv的东西有点混淆。现在重新捋一下opencv的坐标方向问题。 OpenCV坐标方向和Matlab 相同， x轴沿水平方向， y轴沿竖直方向。但因为Matlab中数据按列存储，而OpenCV中数据按行存储， 所以在操作的时候有些区别。 Opencv函数变量中涉及位置信息的有以下几类。 X Y 点的坐标用(x, y)表示， x在前， ...
OpenGL(八) 坐标系统
无提丶的博客
08-26 2657
在上一个教程中，我们学习了如何有效地利用矩阵的变换来对所有顶点进行变换。OpenGL希望在每次顶点着色器运行后，我们可见的所有顶点都为标准化设备坐标(Normalized Device Coordinate, NDC)。也就是说，每个顶点的x，y，z坐标都应该在-1.0到1.0之间，超出这个坐标范围的顶点都将不可见。我们通常会自己设定一个坐标的范围，之后再在顶点着色器中将这些坐标变换为标准化设备坐...
[OpengGL] 坐标系[9]
unity尧明的博客
12-06 509
  在上一章中，我们学习了如何通过使用变换矩阵变换所有顶点来利用矩阵来发挥我们的优势。 OpenGL 期望我们想要变得可见的所有顶点在每个顶点着色器运行后都处于规范化的设备坐标中。 即每个顶点的x、y、z坐标应在-1.0到1.0之间； 超出此范围的坐标将不可见。 我们通常做的是在我们自己确定的范围（或空间）中指定坐标，并在顶点着色器中将这些坐标转换为归一化设备坐标 (NDC)。 然后将这些 NDC 提供给光栅化器以将它们转换为屏幕上的 2D 坐标/像素。  将坐标转换为 NDC 通常以分步方式完成，在最终将
NeRF~相机参数与坐标系变换
whaosoft143ai的博客
05-14 1199
像素点的坐标可能复杂一点：首先3D像素点的x和y坐标是2D的图像坐标 (i, j)减去光心坐标 (cx,cy)，然后z坐标其实就是焦距f (因为图像平面距离相机中心的距离就是焦距f)。view_matrix是一个构造相机矩阵的的函数，输入是相机的Z轴朝向、up轴的朝向(即相机平面朝上的方向Y)、以及相机中心。c是当前迭代的相机在世界坐标系的位置，np.dot(c2w[:3,:4], np.array([0,0,-focal, 1.])是焦点在世界坐标系的位置，z是相机z轴在世界坐标系的朝向。whaosoft
使用colmap进行制作nerf数据集以及进行多视图重建
m0_69656991的博客
04-24 1098
6、稠密重建：reconstruction--dense reconstruction，随后出现的是一个比较空白的页面，然后我们选择右上角的select选择工作区域，类似于一个存储的地方。5、稀疏重建：reconstruction--resume reconstruction不需要设定额外的参数，程序直接开始稀疏重建，得到每张相片对应不同相机位置情况，以及右下角给出的匹配得到的特征点的个数。在dense文件夹下点击.ply格式的文件，并用meshlab打开就可以看见所需的三维模型。
nerf中处理数据的colmap的优化算法
05-23
在NeRF中，COLMAP常被用作预处理工具，帮助提取关键点、匹配特征和构建稀疏三维点云。本文将深入探讨如何在NeRF中应用COLMAP的优化算法，并以ceres-solver-2.2.0为例，介绍Ceres Solver在这一过程中的作用。 首先，...
nerf studio colmap
03-20
### NeRF Studio 和 Colmap 的集成与使用指南 NeRF (Neural Radiance Fields) 是一种用于场景三维重建的技术，而 Colmap 则是一种强大的多视角立体视觉工具。两者结合能够实现高质量的数据采集和处理过程。 #### ...
你真的搞懂了吗？NeRF的相机参数与坐标系变换
CV_Autobot的博客
05-14 1935
作者 | 陈冠英 编辑 | 3D视觉之心原文链接：https://zhuanlan.zhihu.com/p/593204605点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『NeRF』技术交流群本文只做学术分享，如有侵权，联系删文NeRF: Representing Scenes as Neural Radiance...
NeRF神经辐射场中关于光线从世界坐标系转换为NDC坐标系 Representing Scenes as Neural Radiance Fields for View Synthesis
出门吃三碗饭的博客
07-16 1405
本文旨在回复一个粉丝的关于坐标系变换编程提问，并结合下面的一个代码进行解释（完整代码参考我前面的文章）补充：[希望那个同学可以看见，因为公众号对话10天未互动默认无法再回复消息了。提问如下：回答：现在将进行数学公式的一个推断。
跟着LearnOpenGL学习7--坐标系统
贝勒里恩的博客
06-07 981
OpenGL希望在每次顶点着色器运行后，我们可见的所有顶点都为标准化设备坐标(Normalized Device Coordinate, NDC)。也就是说，每个顶点的x，y，z坐标都应该在-1.0到1.0之间，超出这个坐标范围的顶点都将不可见。我们通常会自己设定一个坐标的范围，之后再在顶点着色器中将这些坐标变换为标准化设备坐标。然后将这些标准化设备坐标传入光栅器(Rasterizer)，将它们变换为屏幕上的二维坐标或像素。
#备忘# opengl + opencv 实现自定义标志物AR中的view矩阵转换问题
weixin_42118866的博客
05-19 1522
用Maker标志物实现AR的主要流程可以参考【1】：OpenGL与OpenCV实现增强现实补充文章【2】：Augmented Reality on libQGLViewer and OpenCV-OpenGL tips本文不重复上述网址的过程，但建议先看完上面的再看本文，本文主要说明：solvepnp计算的旋转向量(rvec)和平移向量(tvec)为何要翻转Y和Z轴，才能转换为opengl中的mo...
COLMAP利用已知相机内外参重建NeRF的blender模型
zParquet的博客
08-10 1万+
本文的目的是根据已知相机内外参数的blender模型，使用colmap进行稀疏重建和稠密重建。
Colmap学习一：基础知识（坐标系、相机模型、整体框架）
今天写代码了吗
05-18 9864
colmap坐标系： a. 左上角坐标是（0.5，0.5）为了双线性插值 b. 坐标系方向xyz分别是红绿蓝、右下前 c. colmap的pose是word2camera的，与slam常用的传感器sensor2world不同： – 点P，camera为Pc,则：Pc = RP+t – 而对于camera2world: P = RPc + C, C = -(R转置)t d. world坐标系的原点是在第一帧，但未必是(0,0,0)，由于BA的优化有偏差 相对坐标是后一帧相对前一帧的坐标，绝对坐标是相
OpenCV学习笔记（19）双目测距与三维重建的OpenCV实现问题集锦（四）三维重建与OpenGL显示
热门推荐
晨宇思远
10-28 5万+
五、三维重建与OpenGL显示在获取到视差数据后，利用OpenCV的 reProjectImageTo3D 函数结合 Bouquet校正方法得到的Q矩阵就可以得到环境的三维坐标数据，然后利用OpenGL来实现三维重构。OpenCV与OpenGL的编程范例，我在学习笔记（15）中有详细的讨论，这里就不重复了，下面补充一些细节问题：.. 1．             reProjectImageTo3D是怎样计算出三维坐标数据的？图22相信看过OpenCV第12章的朋友对上图中的Q矩阵不会陌生，根据以上变换公式
【三维重建NeRF(一)】摄像机几何_相机坐标系转换的理解
qq_45028907的博客
04-28 1743
NeRF学习_相机几何
colmap转化nerf
最新发布
04-26
<think>好的，我现在需要帮助用户解决如何将COLMAP生成的结果转换为NeRF格式的问题。首先，用户提到了COLMAP和NeRF，所以我得回想一下这两者之间的关系。COLMAP通常用于从图像中估计相机参数和三维点云，而NeRF（神经辐射场）需要特定的数据格式，包括相机位姿、内参以及图像数据。 首先，我应该回顾用户提供的引用内容。引用3提到了将COLMAP的四元数转换为旋转矩阵和位移向量，组合成4x4变换矩阵，这应该与相机位姿有关。引用1和2讨论了COLMAP的使用问题，比如路径设置和导出文件的问题，这可能影响转换过程。引用4提到了COLMAP的稠密重建步骤，但用户的问题是关于数据转换，所以可能需要关注如何从稀疏重建结果中提取必要的信息。 用户可能需要知道具体的步骤和工具，比如是否有现成的脚本或工具（比如colmap2nerf.py）来自动化这个过程。根据引用2，用户可能遇到了路径或导出文件的问题，这可能在转换过程中需要注意。同时，引用3中的代码示例显示了如何从COLMAP的数据结构提取并转换位姿信息，这可能需要被整合到转换脚本中。 接下来，我需要整理转换的步骤。通常，COLMAP的输出包括相机参数（内参和外参）以及稀疏点云。而NeRF需要每个图像的位姿（通常表示为4x4矩阵）、焦距、光学中心等。可能还需要将图像进行undistort处理，如引用4提到的undistortion步骤。 用户可能需要知道如何从COLMAP的输出（如cameras.txt, images.txt）中解析这些数据。例如，cameras.txt包含内参，而images.txt包含每张图像的外参（旋转和平移）。然后，将这些参数转换为NeRF所需的格式，比如LLFF格式或Instant-NGP的变换矩阵。 此外，可能需要处理图像路径的问题，如引用2提到的图片文件夹位置不正确会导致错误。因此，在转换过程中，确保图像路径正确，并且导出的文件结构符合工具的要求。 可能的问题点包括：正确解析COLMAP的输出文件，处理不同的坐标系差异（如COLMAP可能使用不同的坐标系方向），以及确保内参和外参的正确转换。引用3中的代码示例展示了如何将四元数和平移向量组合成变换矩阵，这可能是一个关键步骤。 总结步骤可能包括：运行COLMAP重建，导出位姿数据，使用脚本转换数据格式，调整坐标系，处理图像路径，最后验证生成的数据是否符合NeRF的要求。同时，用户可能需要知道常见的错误和解决方法，如重新生成导出文件或检查路径设置。 最后，我需要确保回答结构清晰，分步骤说明，并引用相关的引用内容作为支持。同时，生成相关问题，帮助用户进一步了解可能遇到的挑战。</think>### COLMAP到NeRF的转换流程及工具 #### **核心步骤** 1. **COLMAP重建数据准备** - 使用COLMAP进行特征提取、匹配、稀疏重建，生成`cameras.txt`、`images.txt`、`points3D.txt`文件[^1]。 - 确保图像路径正确，避免后续转换脚本无法定位图片[^2]。 2. **坐标系对齐** - COLMAP的坐标系（默认为OpenCV坐标系，Z轴向前）需转换为NeRF的坐标系（通常为OpenGL坐标系，Z轴向后）。需要将外参矩阵绕X轴旋转180度[^3]。 - 示例代码调整坐标系： ```python transform_matrix = np.array([ [1, 0, 0, 0], [0, -1, 0, 0], [0, 0, -1, 0], [0, 0, 0, 1] ]) @ original_matrix ``` 3. **数据格式转换** - 使用`colmap2nerf.py`脚本（来自Instant-NGP或NeRF官方实现）解析COLMAP输出文件，生成`transforms.json`。 - 关键操作：从`images.txt`读取每张图像的**四元数旋转**（`qvec`）和**平移向量**（`tvec`），转换为4x4变换矩阵[^3]。 - 代码片段示例： ```python R = qvec2rotmat(qvec) # 四元数转旋转矩阵 T = np.concatenate([R, tvec.reshape(3,1)], axis=1) transform_matrix = np.vstack([T, [0,0,0,1]]) ``` 4. **内参处理** - 从`cameras.txt`提取**焦距**（focal length）和**光学中心**（principal point），需根据图像分辨率归一化处理。 - NeRF通常要求焦距表示为像素宽度的比例，例如：`focal =焦距 / 图像宽度`。 5. **数据验证** - 使用`ns-viewer`（Instant-NGP工具）加载生成的`transforms.json`，检查相机位姿与场景对齐是否正确。 - 常见错误：坐标系未对齐导致场景倒置，需检查旋转矩阵修正。 #### **工具推荐** 1. **colmap2nerf.py** - 官方链接：[Instant-NGP GitHub](https://github.com/NVlabs/instant-ngp) - 使用方法： ```bash python scripts/colmap2nerf.py --colmap_db database.db --text sparse/0 --images images --out transforms.json ``` - 注意：需提前安装`colmap`和`opencv-python`依赖。 2. **LLFF格式转换工具** - 若使用NeRF官方代码，需生成`poses_bounds.npy`文件，可通过调整`load_llff.py`适配COLMAP输出。 3. **自定义脚本** - 若遇到特殊需求，可参考引用[3]的矩阵变换逻辑，自行编写解析代码。 #### **常见问题解决** - **Q: 转换后场景倒置或错位** A: 检查坐标系变换矩阵是否应用正确，确认绕X轴旋转180度[^3]。 - **Q: 脚本报错“找不到图片”** A: 确保图片文件夹与脚本同级目录，路径无特殊字符[^2]。 - **Q: 生成的JSON文件无法加载** A: 重新运行COLMAP导出步骤，或尝试旧版本导出文件[^2]。 #### **优化建议** - **稠密重建提升质量**：在COLMAP中执行`Dense Reconstruction`（引用[4]），生成更完整的点云辅助NeRF训练。 - **GPU加速**：使用CUDA版本的COLMAP加速特征匹配和重建。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

培之

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值