73、从示例中学习：机器学习的多种方法与理论

从示例中学习：机器学习的多种方法与理论

1. 超参数优化策略

在机器学习中，超参数的选择对模型性能至关重要。有多种搜索策略可用于优化超参数：
- 随机搜索 ：当可能的超参数值组合过多时，随机搜索会从所有可能的超参数设置集合中均匀采样。只要你愿意投入时间和计算资源，就可以不断重复采样过程。随机采样也是处理连续值的好方法。
- 贝叶斯优化 ：将选择良好超参数值的任务本身视为一个机器学习问题。把超参数值向量 $x$ 作为输入，使用这些超参数构建的模型在验证集上的总损失作为输出 $y$，尝试找到使损失 $y$ 最小化的函数 $y = f(x)$。每次进行训练运行时，会得到一个新的 $(y, f(x))$ 对，用于更新对函数 $f$ 形状的认知。其核心思想是在利用（选择接近先前良好结果的参数值）和探索（尝试新的参数值）之间进行权衡。
- 基于种群的训练（PBT） ：首先使用随机搜索并行训练一组具有不同超参数值的模型。然后训练第二代模型，它们可以根据上一代的成功值选择超参数值，也可以像遗传算法一样进行随机突变。这种方法结合了随机搜索可以并行进行多次运行的优点，以及贝叶斯优化（或聪明的人工调优）可以从早期运行中获取信息来指导后期运行的优点。

2. 学习理论

我们如何确保所学的假设能对以前未见过的输入做出良好的预测？这涉及到计算学习理论，它处于人工智能、统计学和理论计算机科学的交叉点。
- 可能近似正确（PAC）学习 ：任何与足够大的训练示例集一致的假设不太可能严重错误，即它必须是可能近似正确的（PAC