20、Azure Databricks 中的模型跟踪与调优

Azure Databricks 中的模型跟踪与调优

在机器学习和深度学习领域，找到合适的算法只是解决问题的一部分，而找到最佳的超参数则是一个同样甚至更复杂的任务。本文将聚焦于如何使用 MLflow 作为模型仓库来进行模型调优、部署和控制，同时也会使用 Hyperopt 来搜索模型的最佳超参数集。

技术要求

在开始实践之前，你需要具备以下条件：
- 拥有 Azure Databricks 订阅。
- 有一个连接到运行集群的 Azure Databricks 笔记本，且 Databricks Runtime ML 版本为 7.0 或更高。

使用 AutoML 进行超参数调优

在机器学习和深度学习中，超参数调优是选择一组最优超参数的过程，这些超参数将用于控制学习算法的学习过程。与从数据中学习得到的其他参数不同，超参数是在训练模型之前设置的，它们会直接影响模型的性能和训练时间。常见的深度学习超参数包括：
- 学习率
- 训练轮数
- 隐藏层
- 隐藏单元
- 激活函数

寻找好的超参数需要有效地搜索超参数空间，但这是一项艰巨的任务，因为每尝试一组新的超参数都需要训练一个新的模型，这在时间和计算资源上都是昂贵的。常见的超参数搜索技术包括网格搜索、随机搜索和贝叶斯优化。

AutoML（自动化机器学习）是一种更高效的搜索最佳超参数的技术，它通过自动应用机器学习来解决优化问题，即优化训练算法中使用的超参数。Azure Databricks Runtime for Machine Learning 提供了两个开源库 MLflow 和 Hyperopt 来自动搜索可能