相关滤波跟踪·KCF公式详细推导

因为KCF算法和CSK基本一样，因此关于KCF的笔记仅记录从section 4 开始的公式推导和理解。
为了表述清楚，本文所有小写加粗符号表示列向量，小写不加粗表示元素或参量，大写符号表示矩阵。

4 Building blocks

4.1 Linear regression

通过岭回归（ridge regression）或支持向量机（SVM）
$$\underset{\mathbf{w}}{\min }\sum _i^n(f({\mathbf{x}}_i)-y_i{)}^2+\lambda \Vert \mathbf{w}{\Vert }^2$$
分类器$f({\mathbf{x}}_i)={\mathbf{w}}^T{\mathbf{x}}_i$
所以上式$$\begin{array}{rl}& =\underset{\mathbf{w}}{\min }\sum _i^n({\mathbf{w}}^T{\mathbf{x}}_i-y_i{)}^2+\lambda \Vert \mathbf{w}{\Vert }^2\\ & =\underset{\mathbf{w}}{\min }\Vert X\mathbf{w}-\mathbf{y}{\Vert }^2+\lambda \Vert \mathbf{w}{\Vert }^2\\ & =(X\mathbf{w}-\mathbf{y}{)}^T(X\mathbf{w}-\mathbf{y})+\lambda {\mathbf{w}}^T\mathbf{w}\end{array}$$
接下来是矩阵的求导，这里是分子布局(numerater layout)的标量/向量情况
$$\begin{array}{rl}\frac{\partial [...]}{\partial \mathbf{w}}& =2(X\mathbf{w}-\mathbf{y}{)}^T\frac{\partial }{\partial \mathbf{w}}(X\mathbf{w}-\mathbf{y})+2\lambda {\mathbf{w}}^T\\ & =2(X\mathbf{w}-\mathbf{y}{)}^T\frac{\partial }{\partial \mathbf{w}}(X\mathbf{w})+2\lambda {\mathbf{w}}^T\\ & =2(X\mathbf{w}-\mathbf{y}{)}^{T}X+2\lambda {\mathbf{w}}^T\end{array}$$
令$\frac{\partial [...]}{\partial \mathbf{w}}=0$，有
$$\begin{array}{r}{\mathbf{w}}^T{X}^{T}X-{\mathbf{y}}^{T}X+\lambda {\mathbf{w}}^T=0\\ {\mathbf{w}}^T(X^{T}X+\lambda I)={\mathbf{y}}^{T}X\\ {\mathbf{w}}^T=(X{X}^T+\lambda I{)}^{-1}{\mathbf{y}}^{T}X\\ \mathbf{w}=(X{X}^T+\lambda I{)}^{-1}{X}^T\mathbf{y}\end{array}$$
因为后续会变换到傅里叶域，所以将$X^T$处理为$(X^{\ast }{)}^T$，记为$X^H$，所以$$\mathbf{w}=(X{X}^H+\lambda I{)}^{-1}{X}^H$$