15、深入探究WAIC性质及其与交叉验证方法的等价性

深入探究WAIC性质及其与交叉验证方法的等价性

1. WAIC性质推导

1.1 广义损失与经验损失的推广

在相对有限方差的条件下，对广义损失 (G_n) 和经验损失 (T_n) 进行推广。参数 (\theta) 与 ((t, u)) 存在关系 (\theta = g(u)) 以及 (K(\theta) = u^{2k} = \frac{t}{n}) ，这源于状态密度 (\delta(\frac{t}{n} - u^{2k})) 。由此可得：
[
\log\frac{p(x|\theta^ )}{p(x|g(u))} = u^k a(x, u) = \sqrt{\frac{t}{n}} a(x, u)
]
进而：
[
\sum_{i = 1}^{n} \log\frac{p(x_i|\theta^ )}{p(x_i|g(u))} = nu^{2k} - \sqrt{n}u^k \xi_n(u) = t - \sqrt{t} \xi_n(u)
]

1.2 相关命题推导

命题34指出，当方差相对有限时，(s(x, \alpha) = \sum_{k = 0}^{\infty} \frac{1}{k!} s^{(k)}(x, 0) \alpha^k) 的 (k) 阶导数 (s^{(k)}(x, \alpha)) 为 (O_P(n^{-k/2})) 。因此，残差项的均值 (E_X[\sum_{j = k}^{\infty} \frac{1}{j!} s^{(j)}(X, 0) \alpha^j]) 和样本均值 (\frac{1}{n} \sum_{i = 1}^{n} \