《Supervised Descent Method and its Applications to Face Alignment》笔记

最新推荐文章于 2024-08-30 07:38:05 发布

原创

最新推荐文章于 2024-08-30 07:38:05 发布 · 341 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#人脸对齐

本文介绍了CVPR2013年一篇关于Supervised Descent Method (SDM)的论文，该方法用于解决非线性最小二乘问题，特别是在人脸对齐任务中表现出色。SDM避免了牛顿法中计算Hessian矩阵的复杂性，通过学习从初始位置到梯度的映射逐步优化。实验表明，SDM在单变量函数和人脸对齐实验中比牛顿法更鲁棒且收敛速度快。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Introduction

《Supervised Descent Method and its Applications to Face Alignment》是卡内基梅隆大学机器人研究所（The Robotics Institute）在CVPR2013发表的一篇论文，目前引用量有1K+。这篇论文提出了一种监督下降方法（SDM）用于最小化非线性最小二乘（non-linear Least Squared, NLS）函数，该方法的思想是使模型能够学习梯度下降的方向。论文把SDM应用到人脸对齐任务中，并得到了很好的效果。

Motivation

许多计算机视觉问题的解决方法都用到非线性的优化方法。对于平滑函数的非线性优化问题，一般认为牛顿法是最鲁棒、最快、最可靠的方法。对于求单变量函数 $f (x)$ 最小值，牛顿法的变量更新过程是
$x_{k+1} = x_k - \frac{f'(x_k)}{f''(x)} \tag{1}$
对于多变量函数 $f (x)$ 来说，更新过程是
$x_{k+1} = x_k - \mathbf{H}^{-1}(x_k)\mathbf{J}_f(x_k) \tag{2}$

但是，牛顿法有三个主要的缺点。首先，函数可能不是解析可微分的，而且使用数值计算法算梯度是不切实际的。第二，Hessian矩阵可能非常大，求变量维度是p的函数的Hessian的逆矩阵需要 $O(p^3)$ 的时间复杂度和 $O(p^2)$ 的空间复杂度。第三，Hessian的行列式不是处处都大于0（小于0将得到鞍点）。因此，论文提出了SDM方法。

SDM

下图展示了SDM的主要思想。
有一个需要优化的函数 $\lVert h(x) - y \rVert^2$ ，这个函数的解释是找到一个 $x_*$ ，使得 $h(x_*)$ 接近y。假设 $f (x)$ 的函数曲线是

一开始x在 $x_0$ 的位置，为了使得 $f (x)$ 降到最低值， $x_0$ 需要移动 $Δx∗\Delta x_*$ ，SDM就学习从 $x_0$ 到梯度 $Δx\Delta x$ 的映射 $Δx=g(x)\Delta x = g(x)$ ，学习的方法是回归 $Δx=Rx+b\Delta x = Rx + b$ 。准确的说，SDM学习的是从 $x_0$ 和y到 $Δx∗\Delta x_*$ 的映射，因为y也控制着最优解 $x_*$ 的位置。但是，在测试时，y是不知道的，因此，SDM把y的信息包含在R和b中。

现在， $f (x)$ 的y是变动的，我们可能有几个y，这样，我们得到几个 $f (x)$ 的曲线，如下图

因为y的不同，导致相同的 $x_0$ 在不同的 $f (x)$ 需要映射成不同的 $Δx∗\Delta x_*$ 和 $Δx∗2\Delta x_*^2$ 。如果知道y，就能准确地知道 $x_0$ 映射成哪个值，但是测试时y是不知道的（ $Δx=Rx+b\Delta x = Rx + b$ ），因此，SDM学习的映射可能把 $x_0$ 映射成其中一个值，更好的做法可能是映射成 $Δx∗\Delta x_*$ 和 $Δx2\Delta_x^2$ 的均值。因此，SDM一次回归预测得到的 $Δx\Delta x$ 不是最好的梯度，但可以多次回归使得 $x$ 靠近 $x_*$ 。