21、连续优化与机器学习：数据、模型与学习的深度解析

连续优化与机器学习：数据、模型与学习的深度解析

1. 连续优化基础

连续优化在机器学习中具有重要地位，尤其是那些可表示为凸优化问题的机器学习任务。勒让德 - 芬切尔共轭在这类问题中十分有用，特别是对于独立应用于每个示例的凸损失函数，共轭损失是推导对偶问题的便捷方式。

从梯度下降的角度来看，它存在两个主要弱点：
- 缺乏曲率信息 ：梯度下降是一阶算法，不利用曲面的曲率信息。当存在长谷时，梯度方向与感兴趣的方向垂直。为解决此问题，有多种方法：
- 动量法 ：可推广为一类加速方法。
- 共轭梯度法 ：通过考虑先前的方向来避免梯度下降面临的问题。
- 二阶方法 ：如牛顿法，使用海森矩阵提供曲率信息。
- 拟牛顿法 ：如 L - BFGS，尝试用更廉价的计算方法近似海森矩阵。
- 其他方法 ：如镜像下降和自然梯度法。
- 处理不可微函数 ：当函数存在折点时，梯度方法定义不明确，此时可使用次梯度方法。

在现代机器学习应用中，数据集规模常使批量梯度下降无法使用，因此随机梯度下降成为大规模机器学习方法的常用工具。

以下是相关方法的总结表格：
| 方法类型 | 具体方法 | 特点 |
| — | — | — |
| 解决缺乏曲率信息 | 动量法 | 可推广为加速方法 |
| | 共轭梯度法 | 考虑先前方向