ADPRL - 近似动态规划和强化学习 - Note 5 - Banach Fixed Point Theorem in Dynamic Programming

5. Banach Fixed Point Theorem in Dynamic Programming

如上两节所示，VI算法和PI算法都拥有各自的优势和劣势。具体来说，VI算法是一种简单的迭代算法，但它在总成本函数空间的收敛性方面可能是低效的。虽然PI算法在探索策略空间的有限性和在策略空间中达到更好的收敛性方面有一个很好的特性，但它仍然会受到精确策略评估的瓶颈影响。尽管OPI算法自然地连接了这两种算法，但它的性能是由有限策略评估的数量选择决定的。在本节中，我们旨在通过探索巴拿赫固定点定理的属性来缓解这种限制，并仍然保留简单和快速收敛的有希望的属性。

5.1 巴拿赫不动点定理定理 （Banach fixed point theorem）

首先，为了讨论的完整性，我们回顾一下最近提出的、证明压缩原理的另一种方法[19]。

定义 5.1 度量空间定义

度量空间是一有序对$(\mathcal{X},d)$
$(\mathcal{X},d)$ 其中$\mathcal{X}$是一个集合, $d$ 是一个在 $\mathcal{X}$的度量, 即, 一个函数$d:\mathcal{X}\times \mathcal{X}\to \mathbb{R}$, 对于所有$x,y,z\in \mathcal{X}$, 以下关系成立:

1. $d(x,y)=0⟺x=y$ 不可分者同一性原理 (identity of indiscernibles),

2. $d(x,y)=d(y,x)$ 对称性 (symmetry)

3. $d(x,z)\le d(x,y)+d(y,z)$ 三角不等式 (triangle inequality).

定义 5.2 压缩映射

令$(\mathcal{X},d)$为一度量空间，映射关系 $\mathrm{T}:\mathcal{X}\to \mathcal{X}$被称为在$\mathcal{X}$上的压缩映射，如果存在$\gamma \in [0,1)$， 使得

$$d(\mathrm{T}(x),\mathrm{T}(y))\le \gamma d(x,y),\text{ for all }x,y\in \mathcal{X}\text{\hspace{1em}(5.1)}$$

Lemma 5.1 基本压缩不等式 (Fundamental contraction inequality)

如果$\mathrm{T}:\mathcal{X}\to \mathcal{X}$ 是一个压缩常数为$\gamma$的压缩映射，那么对于在 $\mathcal{X}$ 的任意$x,y$
$$d(x,y)\le \frac{1}{1-\gamma }(d(x,\mathrm{T}(x))+d(y,\mathrm{T}(y)))\text{\hspace{1em}(5.2)}$$

---

Proof

根据三角不等式和$\mathrm{T}$是一个压缩映射的事实，我们有
$$\begin{array}{rl}d(x,y)& \le d(x,\mathrm{T}(x))+d(\mathrm{T}(x),\mathrm{T}(y))+d(\mathrm{T}(y),y)\\ & \le d(x,\mathrm{T}(x))+\gamma d(x,y)+d(\mathrm{T}(y),y)\end{array}\text{\hspace{1em}(5.3)}$$

即证。

---

Corollary 5.1 压缩映射的固定点

一个压缩映射$\mathrm{T}$最多有一个固定点。

---

Proof

让我们假设压缩映射 $T$有一个以上的固定点，例如$x$和$y$，$d(x,y)=0.$ 根据$\mathrm{T}$的固定点定义，我们得到$d(x,\mathrm{T}(x))=0$ 和$d(y,\mathrm{T}(y))=0$。根据Lemma 5.1，我们有$d(x,y)=0.$ 通过矛盾法，即证。

---

Proposition 5.1 柯西序列

如果$\mathrm{T}$是一个压缩，那么对于任何$x\in \mathcal{X}$，${\mathrm{T}}^k(x)$下$x$的迭代序列$\mathrm{T}$是一个柯西序列 (Cauchy sequence)。

---

Proof

让$x_1={\mathrm{T}}^k(x)$ 和$x_2={\mathrm{T}}^l(x).$ 那么，根据基本压缩不等式，我们有
$$\begin{array}{rl}d\left({\mathrm{T}}^k(x),{\mathrm{T}}^l(x)\right)& \le \frac{1}{1-\gamma }\left(d\left({\mathrm{T}}^k(x),{\mathrm{T}}^{k+1}(x)\right)+d\left({\mathrm{T}}^l(x),{\mathrm{T}}^{l+1}(x)\right)\right)\\ & \le \frac{{\gamma }^k+{\gamma }^l}{1-\gamma }(d(x,\mathrm{T}(x))+d(x,\mathrm{T}(x)))\end{array}\text{\hspace{1em}(5.4)}$$

显然，当$k$和$l$趋于无穷大时，$d\left({\mathrm{T}}^k(x),{\mathrm{T}}^l(x)\right)$的距离会归于零。最后，我们准备提出经典的巴拿赫不动点定理(Banach fixed-point theorem)。

---

Theorem 5.1 巴拿赫不动点定理 (The Banach fixed-point theorem)

让$(\mathcal{X},d)$是一个非空的完整度量空间，有一个压缩映射$\mathrm{T}$。那么$\mathrm{T}$就有一个唯一的固定点$x^{\ast }$。即 $\mathrm{T}\left(x^{\ast }\right)=x^{\ast }$。此外，$x^{\ast }$可以通过迭代来找到。

$$x_{n+1}=\mathrm{T}\left(x_n\right),\text{ with arbitrary }{x}_0\in \mathcal{X}\text{\hspace{1em}(5.5)}$$

也就是说，当$n\to \infty$时，有$x_n\to x^{\ast }$ 。

---

Proof
直接的，我们有

$$d\left({\mathrm{T}}^k(x),x^{\ast }\right)\le \frac{{\gamma }^k}{1-\gamma }d(x,\mathrm{T}(x))\text{\hspace{1em}(5.6)}$$

即, $k\to \infty$ 导致${\mathrm{T}}^k(x)$收敛到 $x^{\ast }$.

5.2 $\lambda$-几何平均贝尔曼算子 ($\lambda$-geometrically averaged Bellman operator)

利用OPI算法的一个可能的方法是将各种OPI算法与不同步骤的策略评估集合起来。具体来说，我们可以根据$\mathrm{E}\mathrm{q}.(4.33)$中定义的$m$步骤贝尔曼算子的集合构建一个几何平均贝尔曼算子。
$$\begin{array}{rl}{\mathrm{T}}_{\pi ,\lambda }^m:{\mathbb{R}}^K\to {\mathbb{R}}^K,J& \mapsto \frac{1}{{\sum }_{i=1}^m{\lambda }^{i-1}}\sum _{i=1}^m{\lambda }^{i-1}{\mathrm{T}}_{\pi }^{i}J\\ & =\frac{1-\lambda }{1-{\lambda }^m}\sum _{i=1}^m{\lambda }^{i-1}{\mathrm{T}}_{\pi }^{i}J\end{array}\text{\hspace{1em}(5.7)}$$

很容易看出，总成本函数$J_{\pi }$是所有$m$步贝尔曼算子的唯一固定点。它的压缩特性在下面的结果中得到了描述。

Proposition 5.2 $m$步的几何平均贝尔曼算子的压缩特性 (Contraction property of $m$-step geometrically averaged Bellman operator)

给定无限范围的 M D P { X , U , p , g , γ } M D P\{\mathcal{X}, \mathcal{U}, p, g, \gamma\} MDP{ X,U,p,g,γ}, 令$J,J^{\prime }\in {\mathbb{R}}^K$, $m-$步截断的、几何平均的贝尔曼算子是一个关于无穷范数的压缩映射，即：

$${\Vert {\mathrm{T}}_{\pi ,\lambda }^{m}J-{\mathrm{T}}_{\pi ,\lambda }^m{J}^{\prime }\Vert }_{\infty }\le \frac{\gamma \left(1-{\lambda }^m{\gamma }^m\right)(1-\lambda )}{(1-\lambda \gamma )\left(1-{\lambda }^m\right)}{\Vert J-J^{\prime }\Vert }_{\infty }\text{\hspace{1em}(5.8)}$$

---

Proof

根据无穷范数的三角不等式，可以得出
$$\begin{array}{rl}{\Vert {\mathrm{T}}_{\pi ,\lambda }^{m}J-{\mathrm{T}}_{\pi ,\lambda }^m{J}^{\prime }\Vert }_{\infty }& =\frac{1-\lambda }{1-{\lambda }^m}\Vert \sum _{i=1}^m{\lambda }^{i-1}({\mathrm{T}}_{\pi }\\ & \\ & \\ & \end{array}$$