2、自动化机器学习早期发展回顾

自动化机器学习早期发展回顾

1. 自动化机器学习概述

自动化机器学习（AutoML）是机器学习领域提出的概念，旨在自动化机器学习系统和应用的设计与开发。在监督学习场景下，AutoML 致力于减少用户在监督学习系统设计各阶段的参与，这在当下数据海量产生但机器学习专家数量有限的情况下显得尤为必要。

AutoML 已成为机器学习领域的热门话题，在过去十多年取得了显著进展。许多流行的机器学习工具包和大规模平台都融入了 AutoML 方法和机制。

2. 监督学习基础

监督学习是机器学习中研究较多的领域，具有广泛的应用，如垃圾邮件过滤、人脸识别、手写字符识别和文本分类等。其特点是基于有标签的数据样本，学习将对象映射到标签的函数。

在监督学习中，给定数据集 $D$，由 $N$ 对 $d$ 维样本 $x_i \in R^d$ 和标签 $y_i \in {-1, 1}$ 组成，即 $D = {(x_i, y_i)}_{i\in1,\cdots,N}$。目标是找到一个函数 $f: R^d \to {-1, 1}$，使得 $y_j = f(x_j)$，并且该函数能在数据集 $D$ 之外进行泛化。函数 $f$ 的形式可以是线性模型、决策树、基于实例的分类器等。通常，数据集 $D$ 会被划分为训练集和验证集，测试集 $T$ 用于评估函数 $f$ 的泛化能力。

3. AutoML 的概念

• 直观理解 ：在监督学习环境下，AutoML 可直观地理解为以最少的人工干预，找到在任何可能的测试集 $T$ 中都能更好泛化的函数 $f$。函数 $f$ 可以是多个函数的组合，例如 $f