清晰易懂版相关滤波推导

读研期间做相关滤波视觉跟踪，读了很多相关滤波的论文，但是由于当年矩阵论和数字信号处理基础太菜，一直没搞明白相关滤波的闭合解是怎么推出来的，各种论文里面的推导都是直接给个结果，过程不详。最近终于搞明白了推导的过程和原理，在这里记录一下。我觉得应该是全网最清晰最易懂的相关滤波推导了。

如果不加说明，以下粗体字$\mathbf{x}$代表列向量，加帽$\hat{\mathbf{x}}$代表$\mathbf{x}$的傅里叶变换

在推导之前首先回顾几个定理：

循环卷积定理 若$\mathbf{x}$的傅里叶变换为$\hat{\mathbf{x}}$，$\mathbf{y}$的傅里叶变换为$\hat{\mathbf{y}}$，则$\mathbf{x}$与$\mathbf{y}$的卷积$\mathbf{x}\otimes \mathbf{y}$的傅里叶变换为$\hat{\mathbf{x}}$与$\hat{\mathbf{y}}$的点积$\hat{\mathbf{x}}\odot \hat{\mathbf{y}}$。

帕斯瓦尔定理
$$||\mathbf{x}|{|}^2=\frac{1}{N}||\hat{\mathbf{x}}|{|}^2$$
$N$为信号长度。

还有一个小结论，信号的反序的傅里叶变换等于原信号傅里叶变换的共轭

证明一下，记$\mathbf{y}$为$\mathbf{x}$的反序，即$\mathbf{y}[k]=\mathbf{x}[N-k]$
$$\hat{\mathbf{y}}[k]=\sum _{n=0}^{N-1}\mathbf{x}[N-n]e^{-j\frac{2\pi }{N}n}$$
令$N-n=t$
$$\begin{gathered} \hat{\mathbf{y}}[k]=\sum _{t=0}^{N-1}\mathbf{x}[t]e^{-j\frac{2\pi }{N}(N-t)} \\ =\sum _{t=0}^{N-1}\mathbf{x}[t]e^{j\frac{2\pi }{N}t}=\widehat{{\mathbf{x}}^{\ast }}[k] \end{gathered}$$

在卷积操作中，信号要经过反褶操作，而信号的互相关没有经过反褶操作，因此则$\mathbf{x}$与$\mathbf{y}$的互相关$\mathbf{x}\ast \mathbf{y}$的傅里叶变换为$\widehat{{\mathbf{x}}^{\ast }}$与$\hat{\mathbf{y}}$的点积$\widehat{{\mathbf{x}}^{\ast }}\odot \hat{\mathbf{y}}$

有了这几个定理，现在开始推导吧。

相关滤波是要学习一个与$\mathbf{x}$维度相同的滤波器$\mathbf{h}$，使两者的互相关$\mathbf{h}\ast \mathbf{x}$尽量接近目标函数$\mathbf{y}$，使下面的目标函数最小。
$$E(\mathbf{h})=||\mathbf{h}\ast \mathbf{x}-\mathbf{y}|{|}^2+\lambda ||\mathbf{h}|{|}^2$$
根据帕斯瓦尔定理，最小化上式相当于最小化
$$E(\hat{\mathbf{h}})=||\hat{\mathbf{h}}\odot \hat{\mathbf{x}}-\hat{\mathbf{y}}|{|}^2+\lambda ||\hat{\mathbf{h}}|{|}^2$$
把点积写成矩阵相乘的形式
$$E(\hat{\mathbf{h}})=||diag(\hat{\mathbf{x}})\hat{\mathbf{h}}-\hat{\mathbf{y}}|{|}^2+\lambda ||\hat{\mathbf{h}}|{|}^2$$
往下推还需要知道几个结论
$$||\mathbf{x}|{|}^2={\mathbf{x}}^H\mathbf{x}$$
H表示共轭转置

下面这两个结论参见《matrix cookbook》
$$\frac{\partial {\mathbf{x}}^{\mathbf{T}}\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}=\mathbf{A}+{\mathbf{A}}^{\mathbf{T}}$$

---

$$\frac{\partial {\mathbf{x}}^{\mathbf{T}}\mathbf{a}}{\partial \mathbf{x}}=\frac{\partial {\mathbf{a}}^{\mathbf{T}}\mathbf{x}}{\partial \mathbf{x}}=\mathbf{a}$$

接着往下推
$$\begin{gathered} E(\hat{\mathbf{h}})=(diag(\hat{\mathbf{x}})\hat{\mathbf{h}}-\hat{\mathbf{y}}{)}^H(diag(\hat{\mathbf{x}})\hat{\mathbf{h}}-\hat{\mathbf{y}})+\lambda {\hat{\mathbf{h}}}^H\hat{\mathbf{h}} \\ ={\hat{\mathbf{h}}}^{H}diag(\widehat{{\mathbf{x}}^{\ast }})diag(\hat{\mathbf{x}})\hat{\mathbf{h}}-{\hat{\mathbf{h}}}^{H}diag(\widehat{{\mathbf{x}}^{\ast }})\hat{\mathbf{y}}-{\hat{\mathbf{y}}}^{H}diag(\hat{\mathbf{x}})\hat{\mathbf{h}}+{\hat{\mathbf{y}}}^H\hat{\mathbf{y}}+\lambda {\hat{\mathbf{h}}}^H\hat{\mathbf{h}} \end{gathered}$$
将目标函数对$\hat{\mathbf{h}}$求偏导(共轭转置和转置不太一样，但是验证一下也是成立的，不太严谨地求个导)
$$\frac{\partial E(\hat{\mathbf{h}})}{\partial \hat{\mathbf{h}}}=2diag(\widehat{{\mathbf{x}}^{\ast }}\odot \hat{\mathbf{x}})\hat{\mathbf{h}}-2diag(\widehat{{\mathbf{x}}^{\ast }})\hat{\mathbf{y}}+2\lambda \hat{\mathbf{h}}$$
令$\frac{\partial E(\hat{\mathbf{h}})}{\partial \hat{\mathbf{h}}}=0$，解得
$$\begin{gathered} \hat{\mathbf{h}}=(diag(\widehat{{\mathbf{x}}^{\ast }}\odot \hat{\mathbf{x}})+\lambda I{)}^{-1}diag(\widehat{{\mathbf{x}}^{\ast }})\hat{\mathbf{y}} \\ =\frac{\widehat{{\mathbf{x}}^{\ast }}\odot \hat{\mathbf{y}}}{\widehat{{\mathbf{x}}^{\ast }}\odot \hat{\mathbf{x}}+\lambda } \end{gathered}$$

这就是论文里常见的那个公式的由来了。

多通道情况的推导参见fDSST论文的附录，利用了每个像素之间的独立性。

另外 Henriques的KCF论文[2]里是利用循环矩阵傅里叶变换对角化的性质去推导的，很多博主的推导都指出原论文推导结果错误，推出的滤波器结果是
$$\hat{\mathbf{w}}=\frac{\hat{\mathbf{x}}\odot \hat{\mathbf{y}}}{\widehat{{\mathbf{x}}^{\ast }}\odot \hat{\mathbf{x}}+\lambda }$$
分母上的$\hat{\mathbf{x}}$没有共轭，而且从论文的附录5的推导看，确实推不到式(57)，后来看了一下作者的学位论文，推导这个公式的起点不是论文中带有共轭转置的(3)式，而是论文的(2)式。
$$\mathbf{w}=(X^{T}X+\lambda I{)}^{-1}{X}^{T}y$$
也就是说样本矩阵$X$学习到的滤波器$\mathbf{w}$在空域中都是实数。

回顾一下论文里的样本矩阵
$$X=C(\mathbf{x})=\left[\begin{array}{ccccc}{x}_1& x_2& x_3& \cdots & x_n\\ x_n& x_1& x_2& \cdots & x_{n-1}\\ x_{n-1}& x_n& x_1& \cdots & x_{n-2}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ x_2& x_3& x_4& \cdots & x_1\end{array}\right]$$
再使用这个性质
$$X=Fdiag(\hat{\mathbf{x}})F^H$$
这个时候发现$X^T$的第一行正好是$\mathbf{x}$的倒序，因此它的傅里叶变换为$\widehat{{\mathbf{x}}^{\ast }}$, 所以
$$X^{T}X=Fdiag(\widehat{{\mathbf{x}}^{\ast }})F^{H}Fdiag(\hat{\mathbf{x}})F^H=Fdiag(\widehat{{\mathbf{x}}^{\ast }}\odot \hat{\mathbf{x}})F^H$$
再代入上面的式子
$$\begin{gathered} \mathbf{w}=(Fdiag(\widehat{{\mathbf{x}}^{\ast }}\odot \hat{\mathbf{x}})F^H+\lambda F{F}^H{)}^{-1}Fdiag(\widehat{{\mathbf{x}}^{\ast }})F^H\mathbf{y} \\ =Fdiag(\frac{1}{\widehat{{\mathbf{x}}^{\ast }}\odot \hat{\mathbf{x}}+\lambda })F^{H}Fdiag(\widehat{{\mathbf{x}}^{\ast }})F^H\mathbf{y} \\ =Fdiag(\frac{\hat{\mathbf{x}}}{\widehat{{\mathbf{x}}^{\ast }}\odot \hat{\mathbf{x}}+\lambda })\widehat{{\mathbf{y}}^{\ast }} \end{gathered}$$
两边乘$F^H$
$${\hat{\mathbf{w}}}^{\ast }=diag(\frac{\hat{\mathbf{x}}}{\widehat{{\mathbf{x}}^{\ast }}\odot \hat{\mathbf{x}}+\lambda })\widehat{{\mathbf{y}}^{\ast }}$$
两边取共轭
$$\hat{\mathbf{w}}=\frac{\widehat{{\mathbf{x}}^{\ast }}\odot \hat{\mathbf{y}}}{\widehat{{\mathbf{x}}^{\ast }}\odot \hat{\mathbf{x}}+\lambda }$$
结果相同，因此原论文结果正确，只是推导过程错误。

记录一点自己的理解，希望可以帮到大家。

参考博文

KCF目标跟踪方法分析与总结

KCF公式推导错误及验证

MOSSE（DSST）类和KCF类中滤波器推导结果不一致的解释

参考文献

[1] Petersen K B, Pedersen M S The Matrix Cookbook book

[2] Danelljan M , Häger, Gustav, Khan F S , et al. Discriminative Scale Space Tracking[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 39(8):1561-1575. paper

[3] Henriques J F, Rui C, Martins P, et al. High-Speed Tracking with Kernelized Correlation Filters[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(3):583-596. paper