14、机器学习参数优化与气候金融稳定洞察

机器学习参数优化与气候金融稳定洞察

1. 机器学习参数优化方法

在机器学习中，超参数的选择存在一定的“运气”成分。以下是几种常见的超参数选择和优化方法：
- 拉丁超立方抽样 ：该方法遵循一种实验设计，每个超参数的样本分布均匀，但组合是随机的。与纯随机搜索相比，它更具结构性，能对每个超参数进行更均匀的采样，有助于识别超参数的重要性，即使可能无法找到最佳组合。
- 优化方法 ：搜索基于最小化模型验证误差的目标，每次“评估”从算法角度来看是一个完整的模型训练和验证周期。这些方法旨在减少评估次数，节省计算时间。在超参数搜索优化过程中会发生“学习”，即先前尝试的配置会影响新配置的选择，同时最小化损失函数。不过，能并行评估的配置数量有限。
- 局部搜索优化 ：类似于“无导数优化”，这是一类调优算法，许多不同的单个算法可独立应用。一种非标准的局部搜索优化实现是分布式环境的混合框架，有助于克服超参数优化的挑战和成本。

2. 特定机器学习模型的优化算法

2.1 逻辑回归

逻辑回归算法中会遇到非线性优化问题，需要重复计算优化准则、梯度向量（一阶偏导数）和部分海森矩阵（二阶偏导数）。以下是相关的优化技术：
| 优化技术 | 说明 |
| — | — |
| 共轭梯度法 | - |
| 双狗腿法 | - |
| 对偶拟牛顿法 | - |
| Nelder - Mead单纯形法 | - |
| 牛顿 - 拉夫森法 | - |
| 带岭估计的牛顿 - 拉夫森法