26、风险敏感在线学习：理论与实证研究

风险敏感在线学习：理论与实证研究

1. 风险与回报的平衡

在风险敏感的在线学习中，我们常常需要平衡回报和回报的方差。定理 4 中的两个大表达式以不同系数相加平衡了回报和回报方差，但将此不等式转换为竞争比并非易事。不过，在某些自然的参数设置下，这两个表达式能给出定量相似的权衡。

例如，设 $x$ 是一个奖励序列，其值在 $[-0.1, 0.1]$ 范围内，令 $A$ 为 $\eta = 1$ 时的 Prod 算法。那么对于任意时间 $t$ 和专家 $k$，有：
$1.11 \overline{R}_t(A, x) - 0.466 \text{Var}_t(A, x) \geq 0.91 \overline{R}_t(k, x) - 0.533 \text{Var}_t(k, x) - (10 \ln K)/t$
此式在两边的回报和方差之间实现了相对均衡的平衡。同时，对奖励幅度选择“合理”的界限应与过程的时间尺度相关，例如，每日 ±1% 的回报率可能是合理的，但年度来看可能并非如此。

2. 局部风险的无遗憾结果

我们提出了一种优化结合风险和回报的替代目标函数的算法，该算法能实现无遗憾结果。此替代目标的主要优势在于仅“局部”测量风险，目标是平衡即时回报与这些即时回报偏离近期平均回报的程度。这不仅让我们避开了标准风险 - 回报度量中无遗憾的强不可能结果，而且该新目标本身也具有独立意义，因为它纳入了金融中常用的其他风险概念，短期波动通常比长期波动更受关注，例如类似“最大回撤”的概念，即股票在给定（通常较短）时间段内的最大价格跌幅。

考虑专家 $k$ 在奖励序列 $x$ 上的以下风险度量：
$P_t(k, x) = \