10、Optuna与LightGBM：超参数优化与实际应用

Optuna与LightGBM：超参数优化与实际应用

1. Optuna中的优化算法

1.1 CMA - ES算法

CMA - ES（协方差矩阵自适应进化策略）在优化超参数时应用了进化原理，具体步骤如下：
1. 在超参数搜索空间内，初始化均值和协方差矩阵。
2. 重复进化过程：
- 利用均值和协方差矩阵从搜索空间生成一组候选解，每个候选解代表一组超参数值的组合。
- 评估候选解的适应度，即候选解的质量或解决优化问题的能力。在CMA - ES中，这意味着使用候选超参数在数据集上训练模型，并在验证集上评估性能。
- 从种群中选择最优的候选解。
- 根据最优候选解更新均值和协方差矩阵。
- 重复上述步骤，直到达到最大试验次数或种群的适应度不再提高。

CMA - ES在复杂搜索空间中表现出色，能够在协方差矩阵的引导下智能地对搜索空间进行采样。当超参数搜索空间复杂且非线性，或者验证数据的评估存在噪声时，CMA - ES非常有用。

1.2 TPE与CMA - ES的比较

TPE（Tree - structured Parzen Estimator）和CMA - ES都能解决超参数优化的问题，它们都能有效搜索高维搜索空间，捕捉参数之间的相互作用，并且允许用户设置优化预算。

两者的主要区别在于整体方法。TPE是一种具有顺序搜索策略的概率模型，而CMA - ES是基于种群的，并行评估解。通常，TPE在搜索时更倾向于利用已有信息，而CMA - ES通过种群控制机制平衡探索和利用。不过，TPE通常比CMA - ES更高效，特别是在参数数量较少的情况下。