【机器学习】数学知识：拉格朗日对偶（Lagrange Duality）

拉格朗日对偶（Lagrange Duality）

1. 概念

拉格朗日对偶（Lagrange Duality）是优化理论中的一个重要方法，用于将约束优化问题转换为更易求解的对偶问题。它在凸优化、经济学、机器学习（如 SVM）等领域有广泛应用。

2. 原始问题（Primal Problem）

考虑一个标准的约束优化问题：

其中：

• f(x) 是目标函数
• 是不等式约束
• 是等式约束

3. 拉格朗日函数

定义 拉格朗日函数（Lagrangian）：

其中：

• 拉格朗日乘子 （对应不等式约束）
• 拉格朗日乘子 ​（对应等式约束）

4. 对偶函数

对偶函数定义为：

即，对于给定的拉格朗日乘子 (λ,μ)，计算 L(x,λ,μ) 在 x 上的最小值。

5. 对偶问题（Dual Problem）

即，找出最优的 (λ,μ) 使得 θ(λ,μ) 取得最大值。

6. 弱对偶性和强对偶性

• 弱对偶性：对偶问题的最优值永远不大于原始问题的最优值：
  
                                          ​​​​​​​        
• 强对偶性（Slater 条件）：如果原始问题是凸优化问题，并且满足 Slater 条件（即存在严格可行解），则对偶问题的最优值等于原始问题的最优值。

7. 计算示例

考虑优化问题：

拉格朗日函数：

对偶函数：

求导：

解得：

代入 ：

对偶问题：

通过求导可以得到最优解。

8. 应用

• 支持向量机（SVM）：通过拉格朗日对偶求解优化问题。
• 约束优化：在凸优化中，利用对偶问题简化计算。
• 经济学：用于影子价格分析和资源分配。

拉格朗日对偶是一种强大的数学工具，帮助优化问题转换成更容易求解的形式。