augmented reality(AR)入门实例

augmented reality(AR)入门实例

本文提供一个在矩形框中实时绘制立方体的AR实例。
这是宾大开设的一个课程，AR是第三次作业，链接assignment3

简介

为了实现该例子，主要分为两个技术：

• 第一个是矩形四个角点跟踪，用的是KLT算法，MATLAB里面有，就不介绍了；
• 第二个在矩形上面绘制AR的立方体。

步骤如下：

• 求单应性矩阵H。这里的H是世界坐标到相机坐标的homography，所以建立映射的是[X,Y,1]和K^(-1)[u,v,1].
• 基于H，求R，T。这样求是因为噪声导致直接求出来的R的前两列不符合正交矩阵的性质。
• 立方体重新投影。K[R,t]都有了，3D中的点都能投影了。
  注：这里没有设置Z的方向，所以投影可能会在反面。

效果如下：