17、单点无梯度鞍点问题求解方法

单点无梯度鞍点问题求解方法

1. 基本定义与假设

• 邻近函数（Prox - function） ：函数 (d(z) : Z \to \mathbb{R}) 若关于 (|\cdot|) 范数是 1 - 强凸的，并且在 (Z) 上可微，则称其为邻近函数。
• Bregman 散度（Bregman divergence） ：设 (d(z) : Z \to \mathbb{R}) 是邻近函数，对于任意两点 (z, w \in Z)，与之关联的 Bregman 散度 (V_z(w)) 定义为：
  [V_z(w) = d(z) - d(w) - \langle\nabla d(w), z - w\rangle]
  同时，集合 (Z) 关于 (V_{z_1}(z_2)) 的 Bregman 直径 (\Omega_Z) 定义为：
  [\Omega_Z \stackrel{\text{def}}{=} \max{\sqrt{2V_{z_1}(z_2)} | z_1, z_2 \in Z}]
• 邻近算子（Prox - operator） ：设 (V_z(w)) 是 Bregman 散度，对于所有 (x \in Z)，(\xi) 的邻近算子定义为：
  [prox_x(\xi) = \arg\min_{y \in Z} (V_x(y) + \langle\xi, y\rangle)]

我们考虑鞍点问题，其中 (\phi(\cdot, y)) 是定义在紧凸集 (X \subset \mathbb{R}^{n_x})