18、策略搜索方法详解

策略搜索方法详解

1. 遗传策略搜索

遗传策略搜索是一种迭代更新策略参数种群的方法。在这个过程中，对种群中的每个样本进行评估，这些评估可能涉及多次滚动模拟，计算成本较高，因此通常并行运行。评估有助于识别精英样本，即根据评估函数 U 选出的前 m_elite 个样本。

具体步骤

1. 生成下一代种群 ：通过重复选择随机的精英样本 θ ，并添加各向同性高斯噪声 θ + σǫ （其中 ǫ ∼N (0, I) ）来生成 m - 1 个新的参数化样本。未受干扰的最佳参数化样本作为第 m 个样本包含在内。
2. 确定最佳样本 ：由于评估涉及随机滚动，该算法的一个变体可以运行额外的滚动来帮助确定哪个精英样本才是真正的最佳样本。

代码实现

struct GeneticPolicySearch
    θs         # initial population
    σ          # initial standard deviation
    m_elite    # number of elite samples
    k_max      # number of iterations
end

function optimize(M::Genetic