44、基于动作空间分解的受限投资组合管理优化

基于动作空间分解的受限投资组合管理优化

1. 投资任务与相关空间定义

在投资领域，不同的投资任务有着特定的动作空间和观察空间。对于投资任务类型 T2，投资者会出售价值为 |cT 2| 的 VT 2 资产，然后用释放的现金投资 1 + |cT 2| 到其他投资领域的资产。其动作空间 AT 2 定义如下：
[
AT 2 = \left{a \in R^N : \sum_{i = 0}^{N - 1} a_i = 1, \sum_{j \in VT 2} a_j = cT 2, a_j \leq 0, a_k \geq 0 \quad \forall k \in I \setminus VT 2, cT 2 < 0\right}
]
这个动作空间代表了一个 N 维的凸多面体。

观察空间 O 定义为 O = W × V × U，其中：
- (W \subseteq R^+) 是当前的绝对财富水平。
- (V \subseteq R^N) 是 N 种资产中每种资产的当前相对投资组合权重。
- (U \subseteq R^N) 代表上一个时间步观察到的所有单一资产回报。

每种资产的经济回报在每个时间步由随机向量 (\Theta = [\Theta_0, \ldots, \Theta_{N - 1}] \in U) 单独建模。投资组合回报是一个随机变量，其期望值表示为 (IE [\Theta_{PF}] = a^T IE [\Theta])，其中投资组合权重 (a \in A)。

投资者需要考虑两种潜在成本：
- 交易成本（(tct)）：由投资者在时间步 t 改变投资组合权重引起，定义为