Bayesian Face Revisited: A Joint Formulation论文笔记

论文笔记

Bayesian Face Revisited: A Joint Formulation

摘要

一种对贝叶斯人脸识别方法的改进。

问题

人脸识别问题主要分为人脸确认(verification)和人脸识别(identification)，前者是确认两张脸是否食欲同一个人，后者用于确定人脸的身份。本论文主要处理verification问题。

问题描述：

• 假设1：两张脸属于同一个人
• 假设2：两张脸不属于同一个人

基于最大后验，通过对数似然比判断

$$r(x_1, x_2) = \log\frac{P(\Delta|H_I)}{P(\Delta|H_E)}$$

两个前提

每张脸都由两个高斯隐变量表示：
- 固有身份变量
- 其他因素导致的变化

朴素公式

假设两张脸的联合分布为高斯的，即

$$P(x_1, x_2|H_I) = N(0, \Sigma_I) \\ P(x_1, x_2|H_E) = N(0, \Sigma_E)$$
其中$\Sigma_I, \Sigma_E$分别是同一个人和不同人的协方差矩阵。

这种方法直接从统计数据中直接训练得到协方差矩阵。有两个因素可能会限制效果：
1. 我们假设人脸特征为d维的特征，而我们需要从更高的维度空间（2d）中计算出协方差矩阵，由于训练缺乏足够多的独立的训练数据，所以我们得到的可能是一种不可靠的统计结果。
2. 由于数据集中训练样本不完全独立，因此∑E有可能不是(blockwise)块对角线矩阵。而上面的公式中要求x1,x2必须相互独立。

联合公式

人脸由两个高斯变量的和表征：

$$x = \mu + \epsilon$$
这里$x$代表人脸，$\mu$代表固有身份，$\epsilon$代表脸部变化（光照，姿态，表情等）。

隐变量$\mu$,$\epsilon$服从高斯分布$N(0,S_\mu), N(0, S_\epsilon)$

有了以上先验知识，$\{x_1,x_2\}$的联合分布为一个零均值的高斯分布，两张脸的协方差为

$$cov(x_i,x_j) = cov(\mu_i, \mu_j) + cov(\epsilon_i, \epsilon_j),\quad i,j\in\{1,2\}$$
在$H_I$假设下，本征变量$\mu_1, \mu_2$是相同的，而且$\epsilon_1,\epsilon_2$是相互独立的，因此分布$P(x_1,x_2|H_I)$可以通过下式得到：

$$\Sigma_I = \left[ \begin{array}{cc} S_\mu+S_\epsilon & S_\mu\\ S_\mu & S_\mu + S_\epsilon \end{array} \right]$$
在$H_E$假设下，$\mu,\epsilon$都是独立的，因此分布$P(x_1,x_2|H_E)$可以通过下式得到：
$$\Sigma_E = \left[ \begin{array}{cc} S_\mu+S_\epsilon & 0\\ 0 & S_\mu + S_\epsilon \end{array} \right]$$
通过简单的推导，可以得到对数似然比的闭式解
$$r(x_1, x_2) = log\frac{P(x_1,x_2|H_I)}{P(x_1,x_2|H_E)} = x_1^TAx_1 + x_2^T A x_2 - 2x_1^T G x_2$$
其中
$$A = (S_\mu + S_\epsilon)^{-1} - (F+G) \left( \begin{array}{cc} F+G & G\\ G & F+G \end{array} \right) = \left( \begin{array}{cc} S_\mu+S_\epsilon & S_\mu\\ S_\mu & S_\mu + S_\epsilon \end{array} \right)^{-1}$$
这个对数似然比形式有三个有趣的性质：
1. 矩阵A和G都是负半定矩阵
2. 如果A=G负的对数似然比将会退化成马氏距离
3. 特征在经过任何的满秩的线性变化之后，这个对数似然比矩阵都是不变的

训练模型

可以使用LDA（线性判别分析）来得到协方差矩阵，不过为了更高的准确度，我们使用一个类似EM算法来求解

E步(Expectation)

对每一个有m张图像的物体，隐变量$\mathbf{h}=[\mu;\epsilon_1;\ldots;\epsilon_m]$ 和观测值$\mathbf{x}=[x_1;\ldots;x_m]$ 之间的关系为

$$\mathbf{x = Ph}, \quad where\ \mathbf{P} = \left[ \begin{array}{ccccc} I & I & 0 &\cdots & 0\\ I&0&I&\cdots&0\\ \vdots&\vdots&\vdots&\ddots&\vdots\\ I&0&0&\cdots&I \end{array}\right]$$
隐变量服从分布
$$\mathbf{h} \sim N(0,\Sigma_h)$$
其中$\Sigma_h = diag(S_\mu,S_\epsilon,\ldots,S_\epsilon)$.

由此我们可以得到

$$\mathbf{x} \sim N(0,\Sigma_{\mathbf{x}})$$
其中
$$\Sigma_x = \left[ \begin{array}{cccc} S_\mu+S_\epsilon & S_\mu &\cdots & S_\mu\\ S_\mu&S_\mu+S_\epsilon&\cdots&S_\mu\\ \vdots&\vdots&\ddots&\vdots\\ S_\mu&S_\mu&\cdots&S_\mu+S_\epsilon \end{array}\right]$$
由观测$\mathbf{x}$我们可以得到隐变量$\mathbf{h}$的期望：
$$E(\mathbf{h|x}) = \Sigma_h \mathbf{P^T}\Sigma_x^{-1}\mathbf{x}$$
直接计算上式的代价是很高的，空间复杂度是计算复杂度分别为$O(m^2 d^2),O(d^3 m^3)$，不过利用结构特点，可以将空间复杂度和时间复杂度降低到$O(d^2), O(d^3+md^2)$.

M步(maximization)

在这一步，更新参数$\{S_\mu,S_\epsilon\}$的值：

$$S_\mu = cov(\mu) \\ S_\epsilon = cov(\epsilon)$$
其中$\mu,\epsilon$是E步中计算得的隐变量的均值

初始化

在本实现中，$S_\mu$和$S_\epsilon$初始化为随机的正定矩阵。例如，可以从一些随机数据中得到的协方差矩阵作为初始值。