12、机器学习中的超参数调优与决策树集成模型

机器学习中的超参数调优与决策树集成模型

1. 超参数调优的重要性与方法

在机器学习领域，算法的目标是找到能使独立样本损失函数最小化的模型参数。然而，创建一个优秀的统计模型时，在选择算法及其参数方面需要做出众多决策。通常，人们会采用试错法来为当前问题找到最优算法，并且常常根据实践经验和个人偏好来选择算法。这是合理的，因为创建机器学习模型通常没有唯一且相关的解决方案。

大量的手动工作与为选定的建模算法找到最优的超参数集有关。超参数是定义应用于数据集以进行自动信息提取的模型的参数。以下是几种支持调优机器学习模型参数的方法，也就是超参数优化：
- 参数扫描（Parameter sweep） ：这是对预定义的参数值集合进行详尽搜索。数据科学家为每个要调优的参数选择候选值，用每种可能的组合训练模型，然后选择性能最佳的模型。这里的结果很大程度上取决于数据科学家的经验和选择。
- 随机搜索（Random search） ：这是对模型参数的一组随机选择的值进行搜索。这可以为所选模型找到最优参数集提供一种偏差较小的方法。但由于是随机搜索，除非进行足够多的实验，否则可能会错过最优集，而这可能成本较高。
- 参数优化（Parameter optimization） ：这种方法应用现代优化技术来找到最优解。它是以最低成本为任何预测模型和任何业务问题找到最合适参数集的最佳方式。

2. SAS的自动调优功能

SAS在超参数调优方面进行了研究，在SAS产品中，这些功能被称为自动调优。Model Studio为SAS Visual Data Min