AR标记时虚实融合投影仪和相机的手动标定 投影仪相机标定

原创 已于 2023-06-01 08:39:01 修改 · 2.9k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ar #unity #游戏引擎

于 2018-06-13 21:58:08 首次发布
本文介绍使用Unity进行投影仪与相机标定的多种方法，包括调整相机位置、使用平行投影、计算真实尺寸比例等，确保投影与实际图像精确对齐。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1，在unity电脑屏幕上得到的相机的四个点做标记。

2，调整投影用到的相机的Transform让四个标记与真实的相重合，记下位置后，停止运行unity，然后把值重新调整到刚才记下的位置。组件上右击copy component，----paste as new 

3，为了快速的调好，应该让投影仪和相机的位置比近，近似认为在一起的那样。

4，用于投影的那个相机看到的平面，的大小应该是每次都一样的不然比例会出错。

5，用普通相机时视频里会有彩虹纹，采用工业相机时色彩不正常，不好调，如果反光则可以调unity中投影相机的背景颜色。

6，眼动的标定

可以先htc头盔中能看见可视化的眼动，也可以看到投影的红色小球。但两者有一定的偏差，通过标记来解决。先新建四个 红色的小球，然后运行工程，看一个标记的位置，把正确的投影位置用四个 东西标记，最后调整投影相机的位置和视角完成标记。然后可以把可视化的眼动结果不可见，即只能看到投影出来的一个红色小球，问题完美解决。

上面这图是在HTC头盔中可视化与投影的都可见。应该这样来标记更快，只要四个标记点本来就在那个平面则调整相机重合就好。

--------------------------------------------------------------------------------------------------------------------------------------------

上面的相机采用平行投影可能会效果好一点

===============================================================================

方案二

投影和相机的标定，在物理世界中投影和相机有一定的距离，标记的目的简单的说就相当于当投影仪和相机的成像中心重合，投影仪可以看为逆光的相机，这样说来要做的事就是将给投影仪视野的虚拟相机与真实相机重合，且比例相同（这里我们采用unity的虚拟相机为平行投影）。

1 打开unity工程并将虚拟相机调整为平行投影。

2 调出要投影的game窗口，调整scale可以看到虚拟相机的边界-----》即下图的黑框；并记下scale比例，如果标定好后下次可以快速调整好。

3 打开相机，可以看到投影的game窗口，然后拖动game窗口的中心和相机视野的中心相重合。=====这就相当于将投影用的虚拟相机和真实相机的中心重合了。

4  在桌面上测量投影game窗口的 L边的真实尺寸。

5 修改unity工程中虚拟相机size的大小，size的大小 为平行投影测量L的一半。

6 这样基本上可以实现投影仪和相机的标定。

===============================================================================

方案三

相机和投影安装平行，投影先采用梯形校正（为了投影的是正或长方形），相机的视野比投影的范围大

1，确定相机视野中物体真实长与像素比

测量相机视野中真实物体的边长Lreal，对应物体边长在图像中的像素值Lpixel

2, 确定投影的真实长

在投影的四个边界点上放四个小球，方便检测。通过相机检测投影的边界，求得像素值Ppixel

Lreal/Lpixel = Preal/Ppixel = BILI

求得Preal

3, 计算相机的ROI

以相机视野中投影的范围取ROI，并以ROI的中心像素位置求得真实坐标

4，调整投影使用的虚拟相机位置

ROI的真实坐标赋给虚拟相机位置，同时根据Preal调整虚拟相机的W或H值

以上方法相机视野中的实物可以采用标定板，实现一定程度的自动化

===============================================================================

方案四

采用单应性变换

假设在相机视野中有四个点（a, b, c, d），在相机视野中叠加远程专家的装配引导信息（如<ARANAO>），通过虚实融合后共享到装配现场，采用投影仪当四个点（a, b, c, d）投影到工作台，对应的四个点是e, f, g, h，如图4-6所示。正确的虚实融合应当a, b, c, d和e, f, g, h对应重合，则远程专家的装配引导信息会投影到装配现场正确的位置。具体实现步骤如下：

手动调整本地客户端Unity 3D工程中，投影的虚拟相机位置；然后通过投影仪的梯形校正功能，调整投影画面。

Step3: 采用机器视觉开源库Opencv计算点集e, f, g, h到a, b, c, d的单应性矩阵，并生成DLL，通过Unity 3D工程调用。以a(ax, ay)点对应的e(ex, ey)点为例则单应性变换可表示为：H

   式中H为3´3单应性矩阵。

Step4: 在视频流上叠加装配引导信息，再通过单应性变化后投影至工作台，则共享的视觉信息会在正确的位置。变换的是要投影的图像信息。

如果通过单应性变换相机采集的信息则视野会变小，而且真实空间中的物体位置是不能变化的。

---------------------

方案五

python

GitHub - kamino410/procam-calibration: A calibration software for projector-camera system using chessboard and structured light patterns.

Search · projector camera cal · GitHub

方案六

matlab程序

BingyaoHuang/single-shot-pro-cam-calib

GitHub - BingyaoHuang/single-shot-pro-cam-calib: [TASE & ISMAR'18] A Fast and Flexible Projector-Camera Calibration System

点云从入门到精通技术详解100篇-深度相机（二）
getusushu的博客
08-04 28
传统2D相机可以实现二维平面成像，而深度相机（有时也称为RGBD相机、3D相机等）采用深度传感技术，能够实现三维成像，除了提供目标对象的X和Y值之外，还能够提供深度值，可以更加真实、准确地呈现物体的形态与结构，提供更为丰富的环境感知能力。相对于一般的2D相机，深度相机最大的特点是可以同时输出深度图。深度图（depth map）一般是一种灰度图像，其中每个像素点距离相机的距离信息，是计算机视觉中常用的一种图像表示方式，用于描述场景的三维结构。简单来说，深度相机就像特殊的相机。
AR--摄像机标定
chuhang_zhqr的博客
11-23 5588
使用OpenCV进行摄像机标定，在OpenCV例程中有程序可以实现， /samples/cpp/tutorial_code/calib3d/camera_calibration里的程序就可以进行单目相机标定。接下来分析下摄像机标定的过程： 1：这个程序中把初始化参数放在了一个文件（in_VID5.xml）中，在程序的开始首先读入文件中的参数：const string inputSettingsF
投影仪-相机标定
正在挣扎中的人
10-08 9493
1. 单目相机标定 引言 相机标定已经研究多年，标定的算法可以分为基于摄影测量的标定和自标定。其中，应用最为广泛的还是张正友标定法。这是一种简单灵活、高鲁棒性、低成本的相机标定算法。仅需要一台相机和一块平面标定板构建相机标定系统，在标定过程中，相机拍摄多个角度下（至少两个角度，推荐10~20个角度）的标定板图像（相机和标定板都可以移动），即可对相机的内外参数进行标定。下面介绍张氏标定法（以下也这么称呼）的原理。 原理 相机模型和单应矩阵 相机标定，就是对相机的内外参数进行计算的过程，从而得到物体到图像的投影
手把手教你实现条纹结构光三维重建（3）——相机投影仪标定
laiyinping的专栏
06-21 1976
投影仪也类似于一个cmos，图像有像素位置（u，v），那么通过我们上一讲的条纹解码，给图像添加水平方向和垂直方向的投影，就可以通过解码，得到图像对应的投影相位值，此相位值就是投影的像素坐标（xp，yp）。我们都知道，投影仪其实就是个反向相机，如果我们了解双目标定的原理，那么相机和投影仪的标定就不难，关键是我们怎么得到投影仪在图像特征点（比如棋盘格角点）上的像素位置。
投影仪-相机标定程序
04-03
在对投影仪标定工作上开源并且广泛使用的有两个DEMOS.一个是2009年Projcamcalib，这个应该容易找到源代码。另外一个是2012年布朗大学提出的一个投影仪标定方法，发表论文为《Simple, Accurate, and Robust Projector-Camera Calibration》，代码用C++和Qt编写，实验操作简便，结果精度较高。资源里面有源代码、实验示例和论文
增强现实(AR)智能眼镜的关键技术：标定、跟踪与交互
翻肚鱼儿的博客
08-19 4934
前言 增强现实AR智能眼镜是当前社会上比较主流的可穿戴AR设备，是除了手机和平板电脑之外最重要的增强现实支撑设备。前面的文章中，我们已经讨论过与光学透视型头戴显示器相关的标定技术，其实增强现实AR智能眼镜就是一种光学透视型的头戴显示器。本文会结合目前市面上的一些主流的AR眼镜设备，对其相关的标定、跟踪、交互技术做出讨论。 1增强现实AR智能眼镜介绍 增强现实AR智能眼镜是一种光学透视型的头戴显示器。为什么一定要强调光学透视的特征呢？因为除了光学透视还有视频透视，而视频透视型的增强现实是将AR画..
摄像机投影仪系统的标定
04-13
该程序包是基于MATLAB的camera calibration工具箱开发的，加入了投影仪的标定，适用范围更广
张正友相机标定的目的
05-29
好的，我现在需要回答用户关于张正友相机标定方法的目的和用途的问题。首先，用户之前的问题是关于Census算法对光照不敏感的原因，而现在转向了相机标定，特别是张正友的方法。我需要确保回答准确，同时符合用户提供...
解释一下相机内外参
最新发布
07-24
- **AR 定位**：内参用于虚实融合，外参确定虚拟物体在世界坐标系的位置。 #### **示例代码（OpenCV 标定）** ```python import cv2 # 读取棋盘格图像 images = [cv2.imread(f"img{i}.jpg") for i in range(10)] # ...
支持大规模视频融合的混合现实技术
zfcx1688的博客
06-30 7348
支持大规模视频融合的混合现实技术 Massive Video Integrated Mixed Reality Technology 源自纬鸿的[三维视频融合]概念表述 三维视频融合是一种MR(混合现实)技术，MR是"增强现实"(实中有虚)与"增强虚拟环境"(虚中有实)两者的统称，三维视频融合作为"增强虚拟环境"技术，通过摄相机或投影装置提取真实对象的“二维动态图像”或“三维表面”信息，实时将"对象图像区域"或"三维表面"以纹理方式注册到三维虚拟环境中，生成[增强虚拟环境],在真实世...
相机内部参数标定程序
12-11
用vs2010 + c+++ opencv实现了张正友的经典的相机内部参数识别算法，代码里面包含了标定用的棋盘格图片。
Unity相机控制
12-07
用键盘控制相机在场景间绕一定点移动
ar_markers:简单的Python AR标记生成器和检测器
05-24
ar_markers 检测用python编写的OpenCV汉明标记。 最初由Max Brauer撰写： 。 我所做的只是清理一些小东西并将其打包以便在pypi上使用。 该软件包能够读取和创建汉明标记，如。 目的 该项目用于我在2018年Spring教授的机器人技术/计算机视觉。我想要足够简单的东西来阅读代码，他们可以理解它是如何工作的。 我也教过他们OpenCV，所以我想要用它编写一些东西。 最终，我们制作了“路牌”，然后学生们在这些“街道”上驾驶Roomba机器人（可以，实际上是3英寸宽的黑色胶带在道路上行驶）。 当他们检测到交叉路口时，他们使用相机读取路牌（弧形标记），并告诉他们：直行，左转或右转。 有时它并没有我想要的那么健壮，因此您可能必须先移动目标，然后才能对其进行识别。 安装 最简单的安装方法是： pip install ar_markers 您还至少需要OpenC
基于标识的AR的OpenCV实现:标记图片
03-21
基于AR标记的游戏：在Unity中使用基于Vuforia的带有AR标记的游戏
02-14
基于AR标记 基于Vuforia的带有AR标记的游戏 游戏RolltheBall merupakan游戏yang dirancang untuk dimainkan oleh dua orang pemain。 Dimana pemain yang memegang hp akan memberi arahan kepada pemain yang memegan kertas atau papan yang terdapat gambar。 Sehingga dibutuhkan kerja sama tim yang baik untuk bisa menyekesaikan game yang satu ini。 游戏ini menggunakan Game Enginee Unity 2019.1.2
AR前沿技术，为食品包装设计带来新灵感
AI天才研究院
05-26 950
本研究的目的在于深入探究AR前沿技术如何为食品包装设计注入新的活力和创意，全面分析其在食品包装设计中的应用方式、优势以及潜在的发展空间。研究范围涵盖了AR技术的基本原理、食品包装设计的传统与创新需求，以及AR技术在不同类型食品包装中的具体应用案例，旨在为食品包装设计师、食品企业营销人员以及相关研究人员提供有价值的参考和思路。本文首先介绍了研究的背景信息，包括目的、预期读者和文档结构。接着阐述了AR技术和食品包装设计的核心概念以及它们之间的联系，并通过流程图进行展示。
相机的标定
Meihuashan_HUST的博客
05-23 4682
参考博客：https://blog.youkuaiyun.com/lxy_2011/article/details/80675803 一.目的： 为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。这个求解参数（内参、外参、畸变参数）的过程就称之为相机标定。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结...
ROI，region of interest)，摄像机标定
qq_15821487的博客
06-02 4391
感兴趣区域(ROI，region of interest)，在机器视觉、图像处理中，在被处理的图像上以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域，简称ROI。在图像处理领域，感兴趣区域是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点。圈定该区域以便进行进一步处理，或使用ROI圈定你想处理的目标，可以减少处理时间，提高精度。在具体的视觉应用中，当工件来料位置固定不变时，常量ROI可以覆盖工件来料。但是当来料位置存在较大波动时，就无法通过固定的ROI来实现视觉应用。
你预定的3D结构光相机到了
3D视觉工坊
06-23 437
为了方便同学更快速地入门3D面结构光领域，3D视觉工坊联合《从零搭建一套结构光3D重建系统 [理论+源码+实践]》课程讲师「天涯居士」，联合推出精迅V1（科研级）单目/双目3D结构光扫描仪：本文主要介绍下该课程所对应的硬件产品介绍，如果有感兴趣的小伙伴，可以选择购买。备注：即使不购买相应的硬件，课程同样也提供了提前采集好的数据集，可以完成完整的3D结构光重建。一 3D图纸模型图1 3d结构光扫描仪...
深度学习图像标定
03-08
<think>好的，我现在需要处理用户关于深度学习图像标定技术的问题。首先，我得理解用户的具体需求。用户提到了“深度学习相关的图像标定问题”，并且引用了两篇资料，一个是关于相机内参标定，另一个是车辆检测。看起来用户可能对如何用深度学习进行相机标定，或者更广泛的图像标定技术感兴趣。 首先，我需要明确图像标定的定义。通常，图像标定可以指几何标定，比如相机标定，确定相机的内参（如焦距、主点、畸变系数）和外参（位置、方向）。而用户引用的第一个资料正是关于相机内参标定，所以这可能是一个重点。第二个引用是关于车辆检测的，但其中提到了YOLO和Faster R-CNN，这可能与目标检测相关，但用户的问题是关于标定，可能需要区分标定和检测的区别。 接下来，我需要回忆传统标定方法和深度学习方法的不同。传统方法如使用棋盘格的张正友标定法，需要人工参与，而深度学习方法可以自动化这一过程。用户提到的引用[1]中指出，深度学习方法能自动提取特征，处理不同光照和噪声，端到端训练，这些都是关键点。 然后，我需要考虑深度学习在图像标定中的具体应用。这可能包括直接回归相机参数，或者通过特征点检测辅助标定。例如，有些方法可能使用CNN直接预测内参，或者通过检测图像中的关键点，再结合传统算法计算参数。需要涵盖这些不同的技术路线。 另外，用户的问题可能涉及标定的类型，比如内参标定、外参标定，或者立体标定（双目标定）。根据引用内容，重点在内参，但可能需要简要提及其他类型。 还要注意引用中的方法，比如引用[1]提到的端到端学习，引用[2]中的车辆检测可能涉及标定后的应用，比如在检测中使用标定参数进行测量或定位。但用户的问题更关注标定本身的技术方法，所以可能需要集中在引用[1]的内容上。 接下来，我需要组织回答的结构。用户要求结构清晰，逐步解决问题。可能需要分为几个部分：定义与分类、核心技术方法、实现流程、挑战与优化，以及应用场景。每个部分下给出具体内容，并引用相关资料。 需要确保使用正确的中文术语，比如“内参”和“外参”，以及正确的LaTeX格式。例如，提到相机模型时，内参矩阵可以用$$K = \begin{bmatrix}f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1\end{bmatrix}$$来表示，符合独立公式的要求。 同时，用户要求生成相关问题，可能需要围绕深度学习标定的方法、与传统方法的对比、实现难点、应用领域等方面提问。例如，如何评估深度标定模型的性能，或者如何处理数据不足的情况。 需要注意避免混淆标定（calibration）和检测（detection），引用[2]中的车辆检测可能与标定的应用有关，但并非标定本身。因此，在回答中可能需要说明标定在检测任务中的作用，但重点还是标定技术。 最后，确保回答中的引用正确，例如引用[^1]对应相机内参标定的内容，引用[^2]可能作为应用案例提及，但主要依据引用展开。 现在需要将这些思路整合成一个结构化的回答，涵盖用户所需的深度学习图像标定技术、方法及实现，同时附上相关问题。确保各部分内容准确，符合用户提供的引用资料，并正确应用格式要求。</think>### 深度学习图像标定技术方法及实现 #### 1. **定义与分类** 图像标定（Image Calibration）在计算机视觉中主要分为**几何标定**和**语义标定**两类： - **几何标定**：通过数学建模确定成像系统的物理参数，例如相机内参（焦距$f_x, f_y$、主点$c_x, c_y$）和畸变系数（径向畸变$k_1, k_2$，切向畸变$p_1, p_2$），外参（旋转矩阵$R$、平移向量$t$）等。 - **语义标定**：为图像内容赋予语义信息（如目标检测、分割），通常基于深度学习模型（如YOLO、Faster R-CNN）。 #### 2. **深度学习在几何标定中的核心技术** ##### (1) 端到端参数回归 - **方法**：使用卷积神经网络（CNN）直接输入图像，输出相机内参或畸变系数。 - **模型示例**： ```python import torch class IntrinsicNet(torch.nn.Module): def __init__(self): super().__init__() self.backbone = torchvision.models.resnet18(pretrained=True) self.fc = torch.nn.Linear(1000, 5) # 输出内参(fx, fy, cx, cy)和畸变系数k1 def forward(self, x): features = self.backbone(x) return self.fc(features) ``` - **优点**：无需人工特征提取，适合快速标定。 ##### (2) 关键点检测辅助标定 - **方法**：结合深度学习与传统优化算法： 1. 使用神经网络检测标定板角点（如Chessboard/Charuco标记）。 2. 通过最小二乘法或PnP算法计算相机参数。 - **公式**：相机投影模型可表示为： $$s \begin{bmatrix}u \\ v \\ 1\end{bmatrix} = K \begin{bmatrix}R & t\end{bmatrix} \begin{bmatrix}X_w \\ Y_w \\ Z_w \\ 1\end{bmatrix}$$ 其中$K$为内参矩阵： $$K = \begin{bmatrix}f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1\end{bmatrix}$$ ##### (3) 自监督学习标定 - **方法**：利用视频序列或多视角图像，通过重投影误差（Reprojection Error）构建损失函数： $$\mathcal{L} = \sum_{i} \| \pi(K, D, X_i) - x_i \|^2$$ 其中$\pi$为投影函数，$D$为畸变参数，$X_i$为3D点，$x_i$为观测像素点。 #### 3. **实现流程** 以端到端内参标定为例： 1. **数据准备**： - 使用标定板（如棋盘格）生成合成图像，或采集真实场景图像。 - 标注真实内参（可通过传统标定工具获取）。 2. **模型训练**： ```python # 使用PyTorch示例 model = IntrinsicNet() optimizer = torch.optim.Adam(model.parameters(), lr=1e-4) for images, labels in dataloader: pred = model(images) loss = F.mse_loss(pred, labels) # 均方误差损失 optimizer.zero_grad() loss.backward() optimizer.step() ``` 3. **部署与验证**： - 将模型集成到相机系统中，实时输出内参。 - 通过重投影误差或3D重建精度评估标定质量。 #### 4. **挑战与优化** - **数据依赖**：真实标注数据获取困难，可通过合成数据+域适应（Domain Adaptation）提升泛化性。 - **动态环境**：针对移动相机（如无人机），需结合SLAM技术实现在线标定。 - **多任务融合**：联合标定与语义任务（如检测、分割），例如引用中车辆检测可结合标定参数实现距离估计。 #### 5. **应用场景** - **自动驾驶**：标定车载多相机系统，用于环境感知。 - **AR/VR**：实时标定用户设备的相机参数，提升虚实融合效果。 - **工业检测**：标定生产线上的相机，确保测量精度。 ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值