23、AutoML @ NeurIPS 2018 挑战赛：设计与成果

AutoML @ NeurIPS 2018 挑战赛：设计与成果

1. 引言

机器学习在在线广告、推荐系统、金融市场分析、计算机视觉、计算语言学、生物信息学等众多领域取得了巨大成功。然而，其成功在很大程度上依赖于人类机器学习专家，因为在所有系统设计阶段，人类专家都会在一定程度上参与其中。实际上，在将现实世界问题转化为机器学习问题、数据收集、格式化和预处理、特征工程、选择或设计模型架构、超参数调整、评估模型性能以及部署在线机器学习系统等方面，人类做出关键决策仍然很常见。这些任务的复杂性往往超出了非专家的能力范围，再加上应用的快速增长，促使人们对无需专家知识即可轻松使用的现成机器学习方法产生了需求。

自动机器学习（AutoML）领域致力于机器学习的逐步自动化。尽管这个术语相对较新，但该主题在机器学习领域已经研究了一段时间，在投资组合和算法设计/分析等相关领域的研究甚至更早。

在之前两次AutoML国际挑战赛和众多黑客松活动取得成功后，我们组织了一场与2018年神经信息处理系统大会（NeurIPS）同期举办的“具有概念漂移的自主终身机器学习”挑战赛，简称为AutoLML。该挑战赛要求参赛者设计一个能够自主（无需任何用户干预）解决监督学习问题的计算机程序。与之前组织的比赛相比，本次比赛的新重点是概念漂移问题，摆脱了之前局限的独立同分布（i.i.d.）简单情况，并且任务规模和数据集比以往提供给参赛者的要大得多。

与以往的比赛一样，参赛者需要提交代码，这些代码将在挑战平台上进行自主评估。所有参赛者都可以使用相同的计算和存储资源，确保了评估的公平性。比赛持续了约2个月，吸引了300多名参与者。从组织和参与者的角度来看，有趣的发现和未解决的问题是这次比赛最重要的成果。总体而言，