自动化模型生成与优化：H2O与Autogluon的应用-优快云博客

模型自动化生成

定义内涵

模型自动化生成是对指定的经过数据预处理后的数据文件，按照预设的一定参数，自动
训练出一系列机器学习模型。通过多个模型的对比，保存效果和性能较为优秀的模型，或者
按照一定的集成学习策略，如 Stacking、Bagging 等，将多个简单模型进行集成，形成效果
更优的模型。

技术背景

目前有很多开源的 AutoML 项目已经实现了模型的自动化生成，如 H2O、Autogluon 等。
作为一个用于分布式
、可扩展机器学习的内存平台，H2O 能够与 Hadoop 和 Spark 等大数据技术无缝协作。H2O 提供了许多流行算法的实现，例如广义线性模型 (GLM)、梯度提升机
（包括 XGBoost）、随机森林、深度神经网络、堆叠集成、朴素贝叶斯、广义加性模型 (GAM)、
Cox 比例风险、K- Means、PCA、Word2Vec，以及全自动机器学习算法。通过输入一系列超
参数即可完成模型的训练，对零代码基础的用户非常友好。
033
SecXOps 关键技术
Autogluon 是亚马逊推出的一个新的开源库，开发人员可以使用该库构建包含图像、文本
或表格数据集的机器学习应用程序。使用 Autogluon，只需编写几行代码就可以利用深度学
习的力量来构建应用程序。
大部分 Automl 框架是基于超参数搜索技术，例如基于贝叶斯搜索的 hyperopt 技术等，
Autogluon 则依赖融合多个无需超参数搜索的模型。例如 Stacking 方法：Autogluon 在同一
份数据上训练出多个不同类型的模型，这些模型可以是 K 均值聚类、决策树、核方法等等，
这些模型的输出进入到一个线性模型里面得到最终的输出。多层 Stacking：将多个模型输出
的数据，合并起来，再做一次 Stacking。在上面再训练多个模型，最后用一个线性模型做输出。
为了避免后面层过多拟合数据，多层 Stacking 通常配合 K 折交叉 Bagging 使用，也就是说这
里的每个模型是 K 个模型的 Bagging。它对下一层 Stacking 的输出，是指每个 Bagging 模型
对应验证集上输出的合并。
K 折交叉 Bagging 则是源于 k 折交叉验证。Bagging 是训练同类别的多个模型，他们可
能使用不同的初始权重或者数据块，最终将这些模型的输出做平均来降低模型的方差。相同
的初始参数，训练多次，对每次的误差求平均后作为这些初始参数的最终误差，可以最大化
利用数据集，同时有效避免过拟合和欠拟合现象。K 折交叉 Bagging：每一折对应不同的初
始参数，训练出多个模型，对结果求平均。