8、采样与退火：探索优化算法的奥秘

采样与退火：探索优化算法的奥秘

1. 采样与收缩技术的局限性

在某些情况下，收缩技术存在一定的局限性。以勒贝格测度为例，对于每个勒贝格密度函数 (f)，都有 (\inf_y f(y) = 0)。这就导致收缩技术在一些重要的场景中无法使用，比如复合高斯场。

为了更清晰地说明这一点，我们考虑一个简单的情况：设 (|S| = 1) 且 (X = \mathbb{R})，通过高斯核定义一个齐次马尔可夫链：
[P(x, dy) = \frac{1}{\sqrt{2\pi(1 - \rho^2)}} \exp\left(-\frac{(y - \rho x)^2}{2(1 - \rho^2)}\right) dy, \quad 0 < \rho < 1]
这是自回归序列 (\xi_n = \rho \xi_{n - 1} + \eta_n) 的转移概率，其中 ((\eta_n)) 是均值为 (0) 且方差为 (1 - \rho^2) 的高斯白噪声序列。

可以发现，对于每个初始分布 (\nu)，有 (\nu P^n(dy) \to \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{y^2}{2}\right) dy)，即边缘分布收敛到标准正态分布。然而，对于每个 (n)，(c(P) = 1)。通过直接归纳可得：
[P^n(x, dy) = \frac{1}{\sqrt{2\pi(1 - \rho^{2n})}} \exp\left(-\frac{(y - \rho^n x)^2}{2(1 - \rho^{2n})}\right) dy]
并且 (c(P^n) = 1)。因此，在这种情况下，定理 4.3.1 并不适用