论文笔记： Monocular Object Orientation Estimation using Riemannian Regression and Classification Network

这篇文章做的是从单目图像中使用CNN预测刚体目标的朝向。所谓朝向其实就是相机位姿中旋转部分，即目标在相机坐标系中旋转。

之前也有过这种想法，将目标的检测中的anchor机制引入到旋转量的估计中。将2D旋转空间分为若干个关键位置，给定一张输入图片先预测最近的关键位置，再预测一个在该关键位置上的偏移量，得到最终的旋转量的估计。这样做的方法既可以避免了建立离散图像检索库造成的离散问题，也可以一定程度上解决直接回归旋转量的不稳定性问题。

这篇文章程度上实现了这种想法，并对这种方法的各种变种进行了实验和分析，很有借鉴意义。

文章题目中的黎曼其实只是旋转量的一种度量方式，也就是常用的李群表示的旋转量，李代数表示旋转增量，李代数到李群的指数映射，有一些摄影测量基础和机器人学基础不难理解这一点，其实并不是很高大上。

Introduction

现有工作

基于CNNs的单目目标位姿估计大体上可以分为以下几类：

1. 间接法：先在图像检测得到目标上已知三维坐标的关键点，先建立2D-3D对应关系，然后使用PnP方法求解位姿
2. 直接法：又可以分为回归与分类。分类法中将朝向空间离散化，打上标签，预测每个输出图像的标签；回归法中每个训练样本都对应一个旋转量的表示，例如四元数、欧拉角等，以此训练CNN。

这篇文章关注的重点是直接法。现有工作的缺点是使用的旋转量的表示方法以及损失函数没有考虑到旋转空间的几何特性。 基于分类的方法需要将旋转空间离散化，导致误差不可能为0。其次当bins比较粗糙时，误差会更大。基于回归方法的问题是旋转量的欧拉角表示方法忽略了旋转空间中测地距离（geodesic distance），另一个问题是对预测的旋转量缺少一个置信度评价。
现有方法的另外一个问题是网络的结构与训练方法并不是为旋转量估计设计的，例如数据增强方法等。

文章贡献

1. 使用旋转向量和四元数作为网络是输出，使用测地线距离设计损失函数；
2. 设计了一种旋转量分类和回归框架，称为 $Bin\&Delta$模型，其中$Bin$解决旋转量分为问题，$Delta$解决旋转量到分类中离散点的回归问题；
3. 设计了一种3D数据增强方式，3D pose jittering；
4. 在Pascal3D+上的实验得到了state-of-the-art的表现。

3D旋转

表示形式

欧拉角、旋转角、四元数

3D旋转空间中的损失函数

测地线距离：

$$d(R_1,R_2)=\frac{\Vert \mathrm{l}\mathrm{o}\mathrm{g}\mathrm{m}(R_1{R}_2^T){\Vert }_F}{\sqrt{2}}$$
该距离实际上旋转向量的夹角，另外一种计算方式为：

$$d(R_1,R_2)=|{\cos }^{-1}\left[\frac{tr(R_1^T{R}_2)-1}{2}\right]|$$

用于旋转估计的测地回归

网络结构

网络分为特征提取和朝向估计两部分，$f={\Phi }_F(x;W_F)$和$y={\Phi }_P(f;W_P)$。使用旋转角$y\in {\mathbb{R}}^3$表示旋转量，对于四元数，需要添加一个单位化约束。

损失函数

1. 旋转角表示：
   $${\mathcal{L}}_R(y_1,y_2)=d(R_1,R_2)$$
   其中$R_i=\exp (y_i)$，值得注意的是测地距离${\mathcal{L}}_R(y_1,y_2)$并不等于${\mathcal{L}}_E(y_1,y_2)=\Vert y_1-y_2{\Vert }_2^2$

2. 四元数表示：
   $$d(q_1,q_2)=2{\cos }^{-1}(|c|),\mathrm{w}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{e}(c,s)=q_1^{-1}\cdot q_2$$
   也可以表示成：
   $$mathcal{L}_R(q_1,q_2)=2{\cos }^{-1}(|⟨q_1,q_2⟩|)$$

测地线回归模型：

$${\mathcal{R}}_G:\underset{W}{\min }\frac{1}{N}\sum {\mathcal{L}}_R(y_n^{\ast },y_n)$$

BaseLines

选择了两种常见的网络作为baseline。

1. 欧式回归模型
   $${\mathcal{E}}_G:\underset{W}{\min }\frac{1}{N}\sum \Vert R(y_n^{\ast },y_n){\Vert }_2^2$$
2. 分类模型
   从位姿空间中选择$K$个关键位姿 { z k ∈ R 3 } k = 1 K \{z_k\in \mathbb{R}^3\}_{k=1}^K {zk​∈R3}k=1K​，应的label为 l ∈ { 1 , … , K } l\in \{1, \dots, K\} l∈{1,…,K}。
   训练时，采用欧式距离度量，对每个样本$y_n^{\ast }$，训练时标签真值为：
   $$l_n^{\ast }={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}_k\Vert y_n^{\ast }-z_k{\Vert }_2$$
   测试时，对网络输出的标签$l_n$，其旋转量为$y_n=z_{l_n}$

用于旋转估计的混合分类-回归网络

文章指出了纯回归方法难以对具有对称性质的目标类别的多模态姿态分布进行建模，一个解决思路是：

1. 先预测一个相对于若干关键位姿的离散位姿标签概率分布；
2. 再预测一个相对于若干关键位姿的连续位姿偏移回归值；
3. 最后使用结合函数将离散位姿预测值和连续位姿回归值结合起来。

模型结构

模型可以分为三个部分，特征提取网络、用于分类的$Bin$和用于回归的$Delta$。$W=[W_F,W_B^c,W_D^c]$。
标签值$l={\Phi }_B(f;W_B^c)$，其中${\Phi }_B$是有参数$W_B^c$定义的$Bin$网络，$W_B^c$为目标的类别，$l$是关键位姿$z_l$的标签。$Delta$网络预测一个位姿残差${\delta }_y={\Phi }_D(f;W_D^c)$。给定一个分类的输出，即类别$l$和位姿残差${\delta }_y$，结合方法为：
$$y=g(z_l,\delta y)$$
其中，$g(\cdot ,\cdot )$为某种结合函数。

可以选择是否为分类网络中的每个关键位姿分配一个$Delta$网络，还是所有关键位姿使用一个共同的关键位姿。若是每个位姿分配一个$Delta$网络，位姿残差输出也是标签的函数，$\delta y\to \delta y^l$。

损失函数

损失函数由$Bin$和$Delta$的输出构成：
$$\mathcal{L}(y_1,y_2)=\alpha {\mathcal{L}}_R(g(z_{l{}_1},\delta y_1),g(z_{l{}_2},\delta y_2))+{\mathcal{L}}_C(l_1,l_2)$$

旋转变量$y_1=g(z_{l_1},\delta y_1)$和$y_2=g(z_{l_2},\delta y_2)$可以采用四元数和旋转向量表示。

模型

通过结合不同的模型结构、损失函数以及旋转变量的表示形式，可以得到多种模型：

其中$+$号表示采用One-$Delta$-Per-$Bin$结构。

Geodesic Bin & Delta Model

采用欧式距离建立结合函数:
$$g(z_l,{\delta }_y)=z_l+{\delta }_y$$
对于四元数表示的旋转量，需要添加$L_2$正则化：
$$g(z_l,{\delta }_y)=\frac{z_l+{\delta }_y}{\Vert z_l+{\delta }_y{\Vert }_2}$$
两种模型为：
$${\mathcal{M}}_G:\underset{W}{\min }\frac{1}{N}\sum _n\left[\alpha {\mathcal{L}}_R(y_n^{\ast },z_{l_n}+\delta y_n)+{\mathcal{L}}_C(l_n^{\ast },l_n)\right]$$

$${\mathcal{M}}_G+:\underset{W}{\min }\frac{1}{N}\sum _n\left[\alpha {\mathcal{L}}_R(y_n^{\ast },z_{l_n}+\delta y_n^{l_n})+{\mathcal{L}}_C(l_n^{\ast },l_n)\right]$$

一种简单的模型，采用四个关键位姿的Geodesic Bin & Delta Model为：

Riemannian Bin & Delta Model

采用指数映射建立结合函数：

$$g(z_l,{\delta }_y)=\log (\exp (z_l)\exp (\delta y))$$
旋转量的输出为: $R=\tilde{R}\exp (\delta y)$
模型为：

$${\mathcal{M}}_G:\underset{W}{\min }\frac{1}{N}\sum _n\left[\alpha {\mathcal{L}}_R(R_n^{\ast },z_{l_n}+{\tilde{R}}_{l_n}\exp (\delta y_n))+{\mathcal{L}}_C(l_n^{\ast },l_n)\right]$$

$${\mathcal{M}}_G+:\underset{W}{\min }\frac{1}{N}\sum _n\left[\alpha {\mathcal{L}}_R(R_n^{\ast },z_{l_n}+{\tilde{R}}_{l_n}\exp (\delta y_n^{l_n}))+{\mathcal{L}}_C(l_n^{\ast },l_n)\right]$$

由于指数映射只能在旋转角的表示下使用，因此这种模型不能使用四元数。

Probabilistic Bin & Delta Model

该模型是Geodesic Bin & Delta model的变种，使用$Bin$网络输出的标签得分对$Delta$网络进行加权。对第n张输出图像，第k个bin的得分为$p_{nk}$，其中$k=1,2,\dots ,K$。以$Bin$网络对最终输出的位姿进行加权，得到的模型为：

$${\mathcal{M}}_G:\underset{W}{\min }\frac{1}{N}\sum _n\left[\alpha \sum _k{p}_{nk}{\mathcal{L}}_R(y_n^{\ast },z_k+\delta y_n)+{\mathcal{L}}_C(l_n^{\ast },l_n)\right]$$

$${\mathcal{M}}_G+:\underset{W}{\min }\frac{1}{N}\sum _n\left[\alpha \sum _k{p}_{nk}{\mathcal{L}}_R(y_n^{\ast },z_k+\delta y_n^k)+{\mathcal{L}}_C(l_n^{\ast },l_n)\right]$$

RelaXed Bin & Delta

前几种模型都是采用了对每张图片分配了关键位姿，一种更加灵活的模型采用柔性的分配方法，为每幅图像分配一个概率图，方法为：
$$p_{nk}^{\ast }=\frac{\exp (-\gamma \Vert y_n^{\ast }-z_k{\Vert }_2^2)}{{\sum }_k\exp (-\gamma \Vert y_n^{\ast }-z_k{\Vert }_2^2)}$$

两种模型为：

$${\mathcal{M}}_X:\underset{W}{\min }\frac{1}{N}\sum _n\left[\alpha {\mathcal{L}}_R(R_n^{\ast },z_{l_n}+\delta y_n)+{\mathcal{L}}_{KD}(p_n^{\ast },p_n)\right]$$

$${\mathcal{M}}_X+:\underset{W}{\min }\frac{1}{N}\sum _n\left[\alpha {\mathcal{L}}_R(R_n^{\ast },z_{l_n}+\delta y_n^{l_n})+{\mathcal{L}}_{KD}(p_n^{\ast },p_n)\right]$$

其中，${\mathcal{L}}_{KD}(\cdot ,\cdot )$为真值与预测值Kullback-Leibler divergence；$p_n^{\ast }=[p_{nk}^{\ast }{]}_{k=1}^K$，$p_n=[p_{nk}{]}_{k=1}^K$。

RelaXed Probabilistic Bin & Delta Model

对于RelaXed Bin & Delta Model也可以采用$Bin$网络输出的概率分布对$Delta$网络进行加权：

$${\mathcal{M}}_X:\underset{W}{\min }\frac{1}{N}\sum _n\left[\alpha \sum _k{p}_{nk}{\mathcal{L}}_R(R_n^{\ast },z_{l_n}+\delta y_n)+{\mathcal{L}}_{KD}(p_n^{\ast },p_n)\right]$$

$${\mathcal{M}}_X+:\underset{W}{\min }\frac{1}{N}\sum _n\left[\alpha \sum _k{p}_{nk}{\mathcal{L}}_R(R_n^{\ast },z_{l_n}+\delta y_n^{l_n})+{\mathcal{L}}_{KD}(p_n^{\ast },p_n)\right]$$

Simple Bin & Delta Model

前面几种模型的$\Delta$网络损失是定义在结合函数之后，即损失是针对整体网络输出而言。另外一种的建立$Delta$网络的损失：

$${\mathcal{M}}_X:\underset{W}{\min }\frac{1}{N}\sum _n\left[\alpha \Vert \delta y_n^{\ast }-\delta y_n{\Vert }_2^2+{\mathcal{L}}_C(l_n^{\ast },l_n)\right]$$

$${\mathcal{M}}_X+:\underset{W}{\min }\frac{1}{N}\sum _n\left[\alpha \Vert \delta y_n^{\ast }-\delta y_n^{l_n}{\Vert }_2^2+{\mathcal{L}}_C(l_n^{\ast },l_n)\right]$$

Log-Euclidean Bin & Delta Model

Riemannian Bin & Delta 模型中，旋转量真值与预测值间的测地距离可以由切空间在单位1上的欧式距离近似：
$$\mathcal{L}(R_n^{\ast },{\tilde{R}}_{l_n}\exp (\delta y_n))=\mathcal{L}({\tilde{R}}_{l_n}^T{R}_n^{\ast },\exp (\delta y_n))\approx \Vert \log ({\tilde{R}}_{l_n}^T{R}_n^{\ast })-\log (\exp (\delta y_n)){\Vert }_2$$

当$({\tilde{R}}_{l_n}^T{R}_n^{\ast })$越接近与$I$，近似程度越高，其实就是李群李代数里的一套。

$${\mathcal{M}}_X:\underset{W}{\min }\frac{1}{N}\sum _n\left[\alpha \Vert \log ({\tilde{R}}_{l_n}^T{R}_n^{\ast })-\delta y_n{\Vert }_2^2+{\mathcal{L}}_{KD}(l_n^{\ast },l_n)\right]$$

$${\mathcal{M}}_X+:\underset{W}{\min }\frac{1}{N}\sum _n\left[\alpha \Vert \log ({\tilde{R}}_{l_n}^T{R}_n^{\ast })-\delta y_n^{l_n}{\Vert }_2^2+{\mathcal{L}}_{KD}(l_n^{\ast },l_n)\right]$$

3D Pose Jittering 数据增强

三维的旋转为$R(az,el,ct)=R_Z(ct)R_X(el)R_Y(az)$。绕z轴的旋转会造成相平面内的旋转，而绕x、y轴的旋转会造成图像外的变化，即深度上的变化。作者在camera-tilt和azimuth上进行微小扰动，得到3D pose jittering。

实验

数据集：Pascal3D+
评价指标：

1. $MedErr={\mathrm{m}\mathrm{e}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{n}}_{n=1}^N\angle (R_n^{\ast },R_n)={\mathrm{m}\mathrm{e}\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{n}}_{n=1}^N\left|{\cos }^{-1}(\frac{tr(R_n^T{R}_n^{\ast })-1}{2})\right|$
2. $Ac{c}_{\frac{\pi }{6}}=\frac{1}{N}{\sum }_{n=1}^{N}1[\angle (R_n^{\ast },R_n)\le 30^{\circ }]$
3. $AR{P}_{\theta }$: detected bbox $IOU>0.5$ and $\angle (R_n^{\ast },R_n)\le \theta$，$\theta =30^{\circ }$
4. $AV{P}_K$: detected bbox $IOU>0.5$ and $l(az\ast )==l(az)$，即$az$的标签正确， K=4, 8, 16, 32

结合文章中的其他实验，表现比较好的模型是Riemannian Bin & Delta Model和Geodesic Bin & Delta Model。概率加权、松弛等对两种基础模型的效果并不好。