75、拉格朗日对偶性与矩阵基本子空间详解

拉格朗日对偶性与矩阵基本子空间详解

拉格朗日对偶性

在约束优化问题中，拉格朗日对偶性常常用于将原问题转化为对偶问题，通过求解对偶问题来得到原问题的解。这种方法在许多统计学习方法中都有应用，比如最大熵模型和支持向量机。下面我们详细介绍拉格朗日对偶性的主要概念和结果。

1. 原问题

设 (f(x))、(c_i(x))、(h_j(x)) 是定义在 (\mathbb{R}^n) 上的连续可微函数。考虑如下约束优化问题：
[
\begin{align }
\min_{x\in\mathbb{R}^n}&\ f(x)\
\text{s.t.}&\ c_i(x)\leq0, \quad i = 1,2,\cdots,k\
&\ h_j(x)=0, \quad j = 1,2,\cdots,l
\end{align }
]
这个约束优化问题被称为原始优化问题或原问题。

首先，引入广义拉格朗日函数：
[
L(x,\alpha,\beta)=f(x)+\sum_{i = 1}^{k}\alpha_ic_i(x)+\sum_{j = 1}^{l}\beta_jh_j(x)
]
其中，(x=(x^{(1)},x^{(2)},\cdots,x^{(n)})^T\in\mathbb{R}^n)，(\alpha_i)、(\beta_j) 是拉格朗日乘子，且 (\alpha_i\geq0)。

考虑关于 (x) 的函数：
[
\theta_P(x)=\max_{\alpha,\beta: