文献阅读 - Expressive Expression Mapping with Ratio Images

基于比例图像的真实感表情映射（Expressive Expression Mapping with Ratio Images）

摘要

面部表情不仅包括面部特征运动，还有光照和外观的细微变化（如面部皱纹）。本文给出一种表情比例图像（expression ratio image，ERI）方法，结合几何形变（geometric warping），能够产生丰富的面部表情。

参考文献：Liu, Z., Shan, Y., Zhang, Z. (2001). Expressive expression mapping with ratio images. Conference on Computer Graphics & Interactive Techniques. ACM.

1 引言

表情映射（expression mapping）：

给出某人无表情（自然表情）和有表情的两幅面部图像，并对两幅图像中的面部特征（(眼睛、眉毛、嘴巴等）进行定位。计算这两幅图像各面部特征位置差值，组成差值向量。然后通过几何控制图像形变（geometry-controlled image warping）将差值向量叠加到新图像的面部特征位置上，生成该面部的新表情。

但是，该方法只获取了人脸特征的几何变化，却忽略光照变化，因此表情略显呆滞（下图中）。

表情比例图像（expression ratio image，ERI）：

ERI是一种以与肤色无关的方式提取由表面法线变化引起的光照变化的方法（the illumination change resulting from the change of surface normal can be extracted in a skin-color independent manner）

将ERI捕捉到的面部表情光照变化映射给其他人，能够生成富有表现力的面部表情。

2 相关工作

本文在恒定光照条件下，处理几何形变问题。

3 表情比例图像

• 曲面：

曲面$\Pi$上任意一点$\mathbf{p}$处的法向（normal）方向记为$\mathbf{n}$

• 点光源：

$m$个点光源（point light sources）

$I_i{\mathbf{l}}_i$（$1\le i\le m$）：第$i$个光源点在$\mathbf{p}$点的贡献，${\mathbf{l}}_i$为光线方向（点$\mathbf{p}$指向第$i$个光源点），$I_i$为光线强度。

假设曲面$\Pi$反射服从朗伯反射（漫反射，diffuse），$\rho$为点$\mathbf{p}$处反射系数（reflectance coefficient），根据朗伯模型（Lambertian model），点$\mathbf{p}$处光照强度为

$$I=\rho \sum _{i=1}^m{I}_i\mathbf{n}\cdot {\mathbf{l}}_i$$

（1）

当曲面发生形变后，$\mathbf{p}$点处光照强度变为：

$$I^{\prime }=\rho \sum _{i=1}^m{I}_i{\mathbf{n}}^{\prime }\cdot {\mathbf{l}}_i^{\prime }$$

（2）

其中，${\mathbf{n}}^{\prime }$为形变后曲面在$\mathbf{p}$点处的法向量，${\mathbf{l}}_i^{\prime }$为形变后光线方向。

曲面$\Pi$的ERI定义为：

R = I ′ I = ∑ i = 1 m I i n ′ ⋅ l i ′ ∑ i = 1 m I i n ⋅ l i {\frak{R}} = \frac{I^{\prime}}{I} = \frac{\sum^m_{i = 1} I_i \mathbf{n}^{\prime} \cdot \mathbf{l}^{\prime}_i}{\sum^m_{i = 1} I_i \mathbf{n} \cdot \mathbf{l}_i}