全空间视频融合---学习之路（一）--直线提取检测--投影纹理--相机姿态标定

在增强现实的实际应用环境中，人们会为全空间大规模场景构造三维模型。为了增强虚拟环境的逼真性和动态性，可以向环境中融合真实世界的视频。透过视频可以获知模型该区域发生的事件。这就有了

                             摄像机的视频信息和三维模型的全空间融合

研究内容： 1. 依据相机视频图像的场景结构特征进行直线提取的原理与实现。

                  2. 基于点和直线的二维三维特征对相机标定算法的原理与实现。

                  3. 投影纹理算法的原理与实现。

                  4. 视频融合原型系统的设计与实现。

增强现实---AR---由虚拟的图形、图像、声音和真实场景融合的环境。--技术：硬件方面>>显示、跟踪、输入设备驱动技术等。 软件方面>>>解决坐标系、图像配准等。

全空间的视频融合---三维模型从空间上定义了一个场景、视频从空间及时间上定义了一个过程。

研究现状

----1996 加州大学伯克利分校  由照片建模和渲染建筑场景的新方法；建模---综合几何体建模和图片建模的两种算法提出了一种混合的建模方法； 渲染---视场独立的纹理映射方法。

----1998 加州大学伯克利分校 基于视场独立的纹理映射方法如何运用投影纹理映射原理来实现。

----2003 南加大  基于增强虚拟环境的视频监控可视化系统  实时的将动态影像与三维模型融合并显示出来 用户可以查看场景中任意角度下的多时空数据和影像流。

----2006 Hong Hua  实现了一个增强虚拟环境的原型系统  提供了一个将数字信息集成到物理世界的接口。

----2007 融合多种模态数据集实现大规模的城市模型重建。

----2007 南加大  提出了增强虚拟环境中单目摄像机的标定算法>>>利用相机安装位置的先验知识以及图像与三维模型中的对应点、对应直线、图像与模型之间的平行直线这三种约束给出一个关于相机参数的估计，通过参数实现视频或图像的投影与三维模型的准确融合。

----2008 三维CT数据与支气管镜视频的协调融合方法。

               ################直线提取算法##################

 Hough变换

标准霍夫变换（SHT）---原理是用极坐标的方式表达直线，从而将Oxy坐标平面上的一条过点（x0,y0）的直线转化为极坐标平面Oθr坐标平面上的一个点。

累计概率霍夫变换（PPHT）---1）检测输入图像。  2）用从输入的图像中随机选取的一个像素更新累加器。 3）从输入图像中移除上一步中的那个像素。 4）检测这个新像素修改后的累加器的峰值是否大于阈值L， 如果不大于则转到第一步。5）搜索由累加器所确定的像素范围，找到最长的像素段，这个像素段或者是连续的或者存在一个缺口，但不能超过一个给定的阈值。....阈值一：threshold控制某线段的累计值，阈值二：param1 控制最小线段长度，阈值三：param2控制同一条直线进行碎线段连接的最大间隔值

投影纹理映射算法----纹理映射算法解决的是纹理坐标如何生成的问题---三维到二维的投影类型为透视投影--离远则小，离近则大

投影之前，复杂场景都会被转换为许多个多边形，用迭代的方法枚举每一个多边形内所包括的像素。

引入齐次坐标表示投影纹理坐标-

计算投影纹理坐标涉及到的坐标系：