20、催化剂坐标下降法（Catalyst CDM）的计算效率分析

催化剂坐标下降法（Catalyst CDM）的计算效率分析

1. 算法复杂度分析

在实际编程实现中，由于缺乏关于 $y^*$ 的信息，无法直接验证内部方法的停止条件，所以最后得到的结果对于评估方法的理论有效性更具参考价值，而在考虑具体实际情况时，应依据估计式 (11)。

下面详细分析所提出的加速坐标下降法的算法复杂度。

定理 5 ：设计算 $f$ 的一个梯度分量的复杂度为 $O(s)$，则以坐标下降法为内部方法的加速元算法的算法复杂度为：
$T = O\left(s \cdot n \cdot \sqrt{\frac{L\lVert x_0 - x^* \rVert^2}{2\varepsilon}} \log \frac{1}{\varepsilon^{1/2}\delta}\right)$

该方法的内存复杂度为 $O(n)$，初步计算的复杂度也是 $O(n)$（对于坐标下降法，无需在每次迭代时都重新进行初步计算）。

将所提出的 Catalyst CDM 方法与其他可用于解决该类问题的方法进行比较，结果如下表所示：
| 算法 | 迭代复杂度 | 计算复杂度 |
| ---- | ---- | ---- |
| FGM | $O (s \cdot n)$ | $O\left(s \cdot n \cdot \frac{1}{\varepsilon^{1/2}}\right)$ |
| CDM | $O (s)$ | $O\left(s \cdot n \cdot \frac{1}{\varepsilon}\right)$ |
| ACDM |