25、3D视频的可视化与行为单元模型解读

3D视频的可视化与行为单元模型解读

1. 基于3D眼球模型的注视估计

在3D视频可视化研究中，注视估计是重要的一环。通过3D眼球模型可以从合成的正面人脸图像中估计表演者的注视方向。该模型基于以下三个假设设计：
1. 眼球固定在眼窝内，可围绕眼球中心进行水平和垂直旋转。
2. 注视方向由从眼球中心指向虹膜中心的3D向量定义。
3. 眼球半径等于虹膜直径，这一假设基于医学统计数据。

为了将该模型应用于3D注视估计，需要先通过以下离线过程估计表演者的眼球模型：
1. 收集图像（Step VIII - 1） ：手动收集眼睛直视前方的虚拟正面人脸图像。
2. 检测特征点（Step VIII - 2） ：对于每张图像，检测每只眼睛的以下特征点：2D眼角（$q_a$ 和 $q_e$）、2D虹膜中心（$q_c$），以及虹膜边界与连接 $q_a$ 和 $q_e$ 的眼角线的交点（$q_b$ 和 $q_d$）。眼角通过AAM定位，虹膜通过Kawaguchi等人的方法检测。
3. 计算虹膜直径（Step VIII - 3） ：对于每只眼睛，设 $d$ 为虹膜的平均3D直径，也就是眼球半径。虹膜的3D直径由人脸表面 $M_c$ 上的 $p_b$ 和 $p_d$ 之间的3D距离定义，$p_b$ 和 $p_d$ 分别是 $q_b$ 和 $q_d$ 反向投影到 $M_c$ 上得到的。
4. 计算相对位置（Step VIII - 4） ：对于每只眼睛，计算虹膜中心 $q_c$ 相对于眼角 $q_a$ 和 $q_e