26、下降算法的全局收敛定理

下降算法的全局收敛定理

1. 基本概念

1.1 映射的闭性

设 (A) 是定义在 (\mathbb{R}^d) 上的一个映射，对于每一个点 (\theta \in \mathbb{R}^d)，它将其映射到一个子集 (A(\theta) \subseteq \mathbb{R}^d)。如果当 (\theta^{(k)} \to \theta) 且 (\varphi^{(k)} \in A(\theta^{(k)}))，(\varphi^{(k)} \to \varphi) 时，能推出 (\varphi \in A(\theta))，则称 (A) 在 (\theta) 处是闭的。若对于某个解集 (\mathcal{R} \subseteq \mathbb{R}^d)，映射 (A) 在每一个 (\theta \in \mathcal{R}) 处都是闭的，那么就称 (A) 是闭的。

1.2 下降函数

一个连续的实值函数 (W)，如果满足以下两个条件，就被称为关于 (\mathcal{R}) 和 (A) 的下降函数：
- 若 (\theta \notin \mathcal{R}) 且 (\varphi \in A(\theta))，则 (W(\varphi) < W(\theta))。
- 若 (\theta \in \mathcal{R}) 且 (\varphi \in A(\theta))，则 (W(\varphi) = W(\theta))。

2. 全局收敛定理

2.1 定理内容

设 (\mathcal{R}) 是一个解集，(A) 是闭的，(W) 是关于 (\ma