24、AutoML @ NeurIPS18 Challenge：自动化机器学习竞赛深度剖析

AutoML @ NeurIPS18 Challenge：自动化机器学习竞赛深度剖析

1. 竞赛基本设置

本次竞赛对每个数据集的处理时间进行了严格限制，若超出预算将导致提交被取消资格。完成任务的总时间略超 2 小时，最大的数据集（A）被允许用 1 小时处理。时间预算的确定是基于起始套件中提供给参与者的基线方法所需时间进行估算的，提供的基线方法耗时约为预算时间的三分之一到四分之一。在最终阶段，为每个数据集分配了成比例的时间预算。每个参与者每天可上传两份提交，此机制旨在避免工作节点饱和以及反馈阶段的过拟合问题。

每个提交都会被分配一台具有相同特性的虚拟机：8 个 CPU、16GB RAM 和 100GB 存储容量，这确保了对参与者解决方案的公平比较。竞赛使用了一个由六台具有上述规格的计算节点组成的队列，这些计算节点由巴黎萨克雷大学和微软研究院通过 Azure 资助提供。

为参与者提供了两种不同的竞赛环境。最初提供了一个装有 Python 2.7 和标准机器学习库的 Docker 容器，数据以表格形式提供，参与者可以从一开始就专注于构建预测模型，我们将此竞赛设置称为 Python - 2。在收到参与者的反馈后，推出了第二个 Docker 容器，运行 Python 3 并允许安装更新的软件包和库。此外，还对 Python - 2 版本进行了多项改进，包括提供原始特征、为参与者的解决方案提供更准确的耗时和特征类型信息，将此设置称为 Python - 3。尽管两种环境使用不同版本的编程语言和数据格式，但挑战设置完全相同，包括数据集、评估指标、时间预算等。参与者只能选择其中一个环境参赛，以避免有人通过在两个环境中多次提交获得优势。

2. 评估指标

每