14、利用 FLAML 和 LightGBM 实现自动化机器学习及构建机器学习管道

利用 FLAML 和 LightGBM 实现自动化机器学习及构建机器学习管道

一、FLAML 介绍

FLAML 是一个用于自动化机器学习（AutoML）的库，它提供了模型选择和调优的自动化工具，其中包含了两种高效的超参数优化算法：CFO 和 BlendSearch。

1. CFO 算法

CFO（Continuous First-Order）算法从低成本配置开始，在超参数空间中朝着高成本参数区域进行固定次数的随机迭代。其步长是自适应的，如果连续几次迭代都没有改进，算法会降低步长，避免在高成本的无前景方向上采取大步长。此外，CFO 还会进行随机重启，因为作为局部搜索算法，它可能会陷入局部最优。当没有进展且步长已经很小时，算法会在随机点重新开始。

CFO 的工作流程如下：
1. 从低成本配置开始。
2. 在超参数空间中进行随机迭代，朝着高成本区域移动。
3. 自适应调整步长。
4. 若陷入局部最优，随机重启。

2. BlendSearch 算法

BlendSearch 是 FLAML 提供的另一种超参数优化算法，它采用多线程方法同时运行全局和局部搜索过程。与 CFO 类似，BlendSearch 也从低成本配置开始进行局部搜索，但它不会等到局部搜索停滞才探索新区域。相反，一个全局搜索算法（如贝叶斯优化）会持续提出新的起始点，这些起始点会根据与现有点的距离进行过滤，并按成本进行优先级排序。每次迭代时，BlendSearch 会根据上一次迭代的性能选择是继续局部搜索还是从新的全局搜索点开始。

由于使用了全局优化，BlendSearch 不太容易陷入局部最小值。如果