KDE窗宽选择中的最小二乘交错间定法

窗宽参数的选择方法, 一般有经验法, 插入法, 交错鉴定法等方法. 以下介绍最小二乘交错鉴定法, 并将其作为本文的窗宽选择方法.

最小二乘交错鉴定法(Least-squares cross-validation，LSCV)是是基于这样的思想, 即选取的窗宽参数值能够最小化估计函数的积分平方误差. 以下先考虑单变量的情形.

定义$\hat{f}(x)$与$f(x)$之差的平方的积分为
$$\begin{array}{c}\int [\hat{f}(x)-f(x){]}^{2}dx=\int \hat{f}(x{)}^{2}dx-2\int \hat{f}(x)f(x)dx+\int f(x{)}^{2}dx\end{array}$$
式$(4)$的右边第三项和$h$无关, 所以最小化(4)等价于最小化
$$\begin{array}{c}\int \hat{f}(x{)}^{2}dx-2\int \hat{f}(x)f(x)dx\end{array}$$

为了最小化式$(5)$, 我们先观察式$(5)$的结构. 第一项$\int \hat{f}(x{)}^{2}dx$可以用下面的式子估计:
$$\begin{array}{c}\begin{array}{rl}\int \hat{f}(x{)}^{2}dx=& \frac{1}{n^2{h}^2}\sum _{i=1}^n\sum _{j=1}^n\int k(\frac{X_i-x}{h})k(\frac{X_j-x}{h})dx\\ =& \frac{1}{n^{2}h}\sum _{i=1}^n\sum _{j=1}^n\bar{k}(\frac{X_i-X_j}{h})\end{array}\end{array}$$

其中$\bar{k}(v)=\int k(u)k(v-u)du$称为$k(v)$的双重卷积核. 例如, 对于标准正态核$ k(v) = \frac{1}{\sqrt{2\pi}}e^{{-\frac{1}{2}v}2}$,其双重卷积核为$ \bar{k}(v) = \frac{1}{\sqrt{4\pi}}e^{{-\frac{1}{4}v}2}$, 也就是一个均值为0, 方差为2的正态概率密度函数.

而式$(5)$的第二项中的$\int \hat{f}(x)f(x)dx$, 其实就是随机变量函数$\hat{f}(X)$的期望, 可以写为$E_X[\hat{f}(X)]$. 而对于期望, 我们可以用其样本均值对其进行估计, 也就是用下式
$$\begin{array}{c}\widehat{E_X}[\hat{f}(X)]=\frac{1}{n}\sum _{i=1}^n{\hat{f}}_{-i}(X_i)\end{array}$$

其中
$$\begin{array}{c}{\hat{f}}_{-i}(X_i)=\frac{1}{(n-1)h}\sum _{j=1,j\ne i}^{n}k(\frac{X_i-X_j}{h})\end{array}$$

式$(8)$称为$f(X_i)$的去一核估计量(leave-one-out kernal estimator).

因此, 我们可以将式$(4)$定义最小二乘交错鉴定法的目标函数
$$\begin{array}{c}C{V}_f(h)=\frac{1}{n^{2}h}\sum _{i=1}^n\sum _{j=1}^n\bar{k}(\frac{X_i-X_j}{h})-\frac{1}{n(n-1)h}\sum _{j=1,j\ne i}^{n}k(\frac{X_i-X_j}{h})\end{array}$$

并将单变量KDE方法的窗宽选择转化为以下优化问题:
$$\begin{array}{c}\underset{h}{\min }C{V}_f(h)\end{array}$$