28、自动化交易的阈值递归强化学习模型

自动化交易的阈值递归强化学习模型

1. 模型描述

1.1 阈值递归强化学习

递归强化学习（RRL）是一种自适应策略搜索算法，旨在最大化特定性能标准，以学习有利可图的投资策略。该系统具有递归性，即当前投资决策会影响未来决策。在存在交易成本的情况下，投资绩效取决于相互依赖的决策序列，该算法的递归性质考虑了这种路径依赖性。

对于只能进行多头或空头固定规模交易的单资产交易者，交易函数为：
[
F_t = \tanh\left(\sum_{i = 0}^{m}w_ir_{t - i}+w_{m + 1}F_{t - 1}+w_{m + 2}v\right)
]
其中，(F_t) 是时间 (t) 时网络的输出。当 (F_t>0) 时，交易者采取多头头寸；当 (F_t<0) 时，交易者采取空头头寸。价格回报 (r_t=p_t - p_{t - 1})，(v) 是神经网络模型中常见的偏差项，通常取值为 1，(w_i) 是需要优化的系统参数或网络权重。

然而，这种系统可能无法捕捉金融市场的所有复杂性，而制度切换版本可能更适合这种高度非线性的环境。常见的制度切换方法包括阈值模型、马尔可夫切换模型、人工神经网络模型和平滑过渡模型等。其中，阈值模型因其简单性和透明度而更具吸引力。

假设我们有一个 2 - 制度模型，每个制度由一阶自回归过程（AR(1)）表征，阈值模型可以表示为：
[
y_t = (\varphi_{0,1}+\varphi_{1,1}y_{t - 1})(1 - I[q_t>c])+(\varphi_{0,2}+\varphi_{1,2}y_{t - 1})(I[q_