39、自动化机器学习（AutoML）与深度学习数学基础介绍

自动化机器学习（AutoML）与深度学习数学基础介绍

1. AutoML 基础方法

AutoML 的目标是让不熟悉机器学习技术的领域专家能够轻松使用 ML 技术，其核心是使端到端的机器学习流程（数据准备、特征工程和自动模型生成）更加自动化。在寻找最优超参数时，有几种常见的方法：
- 贝叶斯优化 ：构建目标函数的概率模型，并利用该模型选择最有前景的超参数，然后在真实目标函数中进行评估。
- 网格搜索 ：将搜索空间划分为离散的值网格，并测试网格中的所有可能组合。例如，若有三个超参数，且每个超参数只有两个候选值，那么总共需要检查 2 x 3 = 6 种组合。此外，还有分层网格搜索变体，它会逐步细化搜索空间区域的网格，从而提供更好的结果。关键思路是先使用粗网格，找到更好的网格区域后，再在该区域进行更精细的网格搜索。
- 随机搜索 ：对参数搜索空间进行随机采样，这种简单的方法在许多情况下已被证明非常有效。

2. AutoKeras 介绍

AutoKeras 提供了自动搜索深度学习模型架构和超参数的功能。该框架使用贝叶斯优化进行高效的神经架构搜索。可以使用以下命令安装其 alpha 版本：

pip3 install autokeras # for 1.19 version

AutoKeras 的架构步骤如下：
1. 用户调用 API。
2. 搜索器在 CPU 上生成神经架构。
3. 根据神经架构在 RAM 中构