21、巴拿赫空间中一类贪婪优化算法的对偶间隙估计

巴拿赫空间中一类贪婪优化算法的对偶间隙估计

1 引言

在许多实际应用中，我们常常需要解决凸基数约束优化问题。设 $X$ 为具有范数 $|\cdot|$ 的巴拿赫空间，集合 $D$ 是 $X$ 中的字典，即 $D$ 中的每个元素 $g$ 满足 $|g|\leq1$，且 $\text{span} D$ 的闭包为 $X$。若对于任意 $g\in D$，都有 $-g\in D$，则称字典 $D$ 是对称的，本文假设字典 $D$ 是对称的。

给定定义在 $X$ 上的凸函数 $E$，我们的目标是找到最小化问题 $E(x)\to\min_{x\in X}$ 的近似解，并且希望解关于字典 $D$ 是稀疏的，即求解问题 $E(x)\to\inf_{x\in\Sigma_m(D)}$，其中 $\Sigma_m(D)$ 是所有关于 $D$ 的 $m$ 项多项式的集合，$\Sigma_m(D)={x\in X:x=\sum_{i = 1}^{m}c_ig_i,g_i\in D}$。

在实际应用中，搜索空间的维度通常很大，因此我们希望得到不依赖于 $X$ 维度的收敛速率估计。贪婪算法是寻找最佳 $m$ 项优化的一种构造性方法，其设计允许我们得到关于 $D$ 的稀疏解，在压缩感知、投资组合选择等许多实际应用中都有重要作用。

本文研究一类称为弱双正交贪婪算法（WBGA）的算法，旨在找到巴拿赫空间中稀疏约束优化问题的解。通过引入对偶间隙的概念，我们可以得到稀疏约束优化问题的对偶收敛估计。

2 巴拿赫空间中的贪婪优化算法

贪婪算法通过迭代的方式，利用字典 $D$ 中的元素线性组合来构造问题 $E(x)\to\min_{x\in X}$ 的近似解 $G