28、随机现实、杰弗里斯定律与在线学习中的汉南一致性

随机现实、杰弗里斯定律与在线学习中的汉南一致性

1. 随机现实与杰弗里斯定律

1.1 二次回归框架假设

在二次回归框架下，假设 (Y = P = [−Y, Y])，损失函数 (\lambda(y, \mu) = (y - \mu)^2)。

1.2 命题 4

设 (F) 是一个预测策略，(y_n \in [−Y, Y]) 由 (y_n := F(s_n) + \xi_n) 生成（其中噪声随机变量 (\xi_n) 在给定 (s_n) 时的期望值为零）。对于任何其他预测策略 (G)、任意 (N \in {1, 2, \ldots}) 和任意 (\delta \in (0, 1))，有：
(\left|\sum_{n = 1}^{N} (y_n - \varphi_n)^2 + \sum_{n = 1}^{N} (\varphi_n - \mu_n)^2 - \sum_{n = 1}^{N} (y_n - \mu_n)^2\right| \leq 4Y^2 \sqrt{\frac{2 \ln \frac{2}{\delta}}{N}})
以至少 (1 - \delta) 的概率成立，其中 (\varphi_n) 是 (F) 的预测值，(\mu_n) 是 (G) 的预测值。

1.3 推论 3

结合命题 4 和命题 2 可得推论 3。设 (F) 是一个具有有限嵌入常数 (c_F) 的预测策略的再生核希尔伯特空间（RKHS），(G) 是一个预测策略，其预测值 (\mu_n) 满足一定条件（“领先预测策略”），(F) 是 (F) 中的一个预测策略，(y_n \in [−Y, Y]) 由 (y_n := F(s_n) + \x