什么是熵-----第三部分

最新推荐文章于 2024-06-04 09:18:33 发布

白交_Robin

最新推荐文章于 2024-06-04 09:18:33 发布

阅读量915

点赞数

分类专栏：学习笔记文章标签：信息论 Boltzmann Shannon 中央極限定理

学习笔记专栏收录该内容

30 篇文章

订阅专栏

本文介绍了拓樸熵的概念及其在数学领域的应用。详细解释了如何定义拓樸熵，并探讨了它与Kolmogorov熵之间的关系。此外，文章还提到了拓樸熵的一些性质和其在描述连续映射不确定性中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

3. 拓樸熵 (Topological Entropy)

連續性是自然界的基本屬性之一。數學上連續的概念是由拓樸來刻劃的。拓樸空間 X 中由所有開集生成的 Borel 代數相當於測度空間裡的 $\sigma-$ 代數。拓樸空間上的連續映射相當於測度空間裡的可測變換。由此，我們可以將上節中所談的 Kolmogorov 熵在拓樸空間裡做相似性的定義，來描述連續映射的不確定性。在這過程中最大的困擾是：一般拓樸空間中，並沒有一個相似於測度空間裡的「測度」的度量。

假設 X 為一個緊緻 (compact) Hausdorff 空間， $f:X \rightarrow X$ 為一連續映射。由一般拓樸學知，存在有限開覆蓋 (finite open covering)。設 $\overline{A}=(A_1,\cdots,A_m)$ ，為 X 的一個有限開覆蓋， $\overline{A}$ 中能覆蓋 X 的子集族稱為 $\overline{A}$ 中的子覆蓋 (subcover)。我們稱 $\overline{A}$ 中的子覆蓋為「極小」(minimal)，如果在 $\overline{A}$ 中沒有一個比它元素少的子覆蓋。通常用 $N(\overline{A})$ 來代表 $\overline{A}$ 中極小子覆蓋裡元素的個數。若把極小子覆蓋裡的每一個開集當做一個「基本事件」，大家的概率都是 $\frac{1}{N(\overline{A})}$ ，我們則得到一個樣本空間。它的 Shannon 熵可以很輕易的算出，是 $\log{N(\overline{A})}$ 。我們稱這個數目為開覆蓋 $\overline{A}$ 的熵，同時用符號 H(A) 來表示。

當 $\overline{A}$ 為 X 上的開覆蓋時， $f^{-1}(\overline{A})=\{ f^{-1}(A) : A \in \overline{A} \}$ 也是一個開覆蓋。若 $\{ A_1, \cdots, A_{N(\overline{A})} \}$ 是 $f^{-1}(\overline{A})$ 的一個子覆蓋，但不一定是極小。所以，

$\begin{displaymath}N(f^{-1}(\overline{A})) \leq N(\overline{A}) \eqno{(3-1)}\end{displaymath}$

若 $\overline{A},\overline{B}$ 為 X 上的二個開覆蓋，則 $\overline{A}\vee\overline{B}$ 代表 $\{A \cap B \vert A \in \overline{A} ,B \in \overline{B}\}$ 這個開覆蓋。若 $\{A_1,\cdots, A_n \}$ 是一個 $\overline{A}$ 的子覆蓋 $\{ B_1,\cdots,B_M\}$ 是 $\overline{B}$ 的一個子覆蓋，則 $\{A_i \cap B_j: i=1,\cdots,N, j =1 ,2,\cdots,M \}$ 是 $\overline{A}\vee\overline{B}$ 的一個子覆蓋。因此， $N(\overline{A} \vee \overline{B}) \leq N(\overline{A})N(\overline{B})$ 以及

$\begin{displaymath}H(\overline{A} \vee \overline{B}) \leq H(\overline{A})+H(\overline{B})\eqno{(3-2)}\end{displaymath}$

我們還是用 $\bigvee_{i=0}^{n-1}f^{-i}(\overline{A})$ 來代表 $\overline{A} \vee f^{-1}(\overline{A}) \vee \cdots \vee f^{-n+1}(\overline{A})$ ，同時用 $N(\overline{A},f,n)$ 來表示覆蓋 $\bigvee_{i=0}^{n-1}f^{-i}(\overline{A})$ 中的極小子覆蓋元素的個數。相似於定義 2-2'，我們定義：

定義3-1：

連續映射 f 關於有限覆蓋 $\overline{A}$ 的拓樸熵 (topolgical entropy) 定義為：

$\begin{eqnarray*}&& h_{\mbox{top}}(f,\overline{A}) \\&\equiv& \lim_{n \righta......lim_{n \rightarrow \infty} \frac{1}{n}\log{N}(\overline{A},f,n)\end{eqnarray*}$

定義3-2：

緊緻 Hausdorff 拓樸空間 X 上的連續映射 f 的拓樸熵為

$\begin{displaymath}h_{\mbox{top}}(f) =\sup \{h_{\mbox{top}}(f,\overline{A}):\o......0.1pt{\fontfamily{cwM2}\fontseries{m}\selectfont \char 81}} \}\end{displaymath}$

要使上述關於拓樸熵的定義合理，我們必須證明定義3-1中的極限的存在。為此我們求助於下列仍然是初等微積分的結果。

引理3-3：

設實數序列 $\{ a_n\}_{n \geq 1}$ 滿足條件 $a_{n+p} \leq a_n +a_p$ ， $\forall n,p$ ，則 $\lim_{n \rightarrow \infty} \frac{a_n}{n}$ 存在且等於 $\inf_{n} \frac{a_n}{n}$ 。

證明：

固定 p > 0，每個 n>0可寫成 n=kp+i，其中 $0 \leq i < q$ ，則

$\begin{displaymath}\frac{a_n}{n}=\frac{a_{i+kp}}{i+kp} \leq \frac{a_i}{kp} + \f...... \frac{a_i}{kp} + \frac{ka_p}{kp}=\frac{a_i}{kp}+\frac{a_p}{p}\end{displaymath}$

當 $n\rightarrow \infty$ 時 $k \rightarrow \infty$ ，故有

$\begin{displaymath}\lim_{n \rightarrow \infty} \mbox{sup} \frac{a_n}{n} \leq\frac{a_p}{p}\end{displaymath}$

因此， $\lim_{n \rightarrow \infty} \mbox{sup} \frac{a_n}{n}$ $< \mbox{inf}_p \frac{a_p}{p}$ 另一方面，從不等式

$\begin{displaymath}\mbox{inf}_p \frac{a_p}{p} \leq \lim_{n \rightarrow \infty}\mbox{inf}_p \frac{a_n}{n}\end{displaymath}$

可知，極限 $\lim_{n \rightarrow \infty} \frac{a_n}{n}$ 存在且等於 $\mbox{inf}_n \frac{a_n}{n}$ 可知，極限 $\lim_{n \rightarrow \infty} \frac{a_n}{n}$ 存在且等於 $\mbox{inf}_n \frac{a_n}{n}$

定理3-4：

設 X 為緊緻 Hausdorff 空間， $f:X \rightarrow X$ 連續。任給 X 的有限開覆蓋 $\overline{A}$ ，極限

$\begin{displaymath}\lim_{n\rightarrow \infty} \frac{1}{n} \log{N(\overline{A},f......us0.1pt{\fontfamily{cwM0}\fontseries{m}\selectfont \char 202}}\end{displaymath}$

證明：

由定義知， $\log{N(\overline{A},f,n)}=H(\bigvee_{i=0}^{n-1} f^{-i}(\overline{A}))$ ，我們令其為 a_n。由(3-1),(3-2)可知

$\begin{eqnarray*}a_{n+p} &=& H(\bigvee_{i=0}^{n+p-1} f^{-i}(\overline{A}))\\&......(f^{-n}(\bigvee_{i=0}^{p-1} f^{-i}(\overline{A}))\\&=& a_n+a_p\end{eqnarray*}$

定理由結論恰由引理3-3推導。

拓樸嫡是由 R. Adler, A. Konhein 及 M. McAndrew 在1965年引進的，它是為了研究關於拓樸共軛不變量應運而生的。拓樸共軛的定義可如下給出。

定義3-5：

設 $T:X \rightarrow X$ 和 $S:Y \rightarrow Y$ 分別為緊緻拓樸空間 X 和 Y 上的連續映射。若存在同胚 (homeomorphism) $\phi:X \rightarrow Y$ 使得 $\phi \circ T = S \circ \phi$ ，則稱拓樸共軛 (topologically conjugate) 於 S。這時， $\phi$ 就稱為一個共軛。

我們可以證明，拓樸熵是拓樸共軛性的一個不變量。也就是說，兩個拓樸共軛的連續映射有相同的拓樸熵，反之亦然。事實上兩個拓樸共軛的連續映射在本質上給出相同的遍歷性質，因此，拓樸熵數學地刻劃了不同共軛類的拓樸動力系統 (Topological dynamical system) 的性質。

我們已知拓樸空間 X 加上其全體開集張成的 Borel $\sigma-$ 代數 β 構成一個可測空間。 $(X,\beta)$ ，而 β 上給定的任何一個概率測度 μ 就構成一個概率測度空間 $(X,\beta,\mu)$ 。 X 上的任一連續映射 f 同時也為 $(X,\beta,\mu)$ 上的可測變換，因而就有一個 Kolmogorov 熵隨之確定。另一方面，Borel 代數 β 上存在著眾多不同的概率測度，這樣就有了對應於不同概率測度的 Kolmogorov 熵組成的數集。然而，作為連續映射 f 的拓樸熵之定義與測度無關，它是唯一確定的。我們自然發出疑問：這兩種熵有何內在聯繫？既然拓樸嫡概念是由 Kolmogorov 熵概念衍生而來，我們有信心認為它們的確存在著情同手足的關係。這方面的結果多采多姿。比如說，

定理3-8:

設 f 為緊緻拓樸空間 X 上的連續映射，則

$\begin{displaymath}h_{\mbox{top}}(f)=\mbox{sup}\{h_{\mu}(f):\mbox{{\fontfamil......0.1pt{\fontfamily{cwM6}\fontseries{m}\selectfont \char 118}}\}\end{displaymath}$

本節拓樸熵中，空間為緊緻的假設並非必要。 70年代初 Dinaburg 和 Bowen 分別給出了拓樸熵的等價定義。這些定義的優越性在於它們引導了一系列關於拓樸熵和測度熵(Kolmogorov 熵) 之間聯繫結果的證明。Bowen 的定義是對更廣泛的距離空間上一致連續映射族而言的。且導致了 n-環面上自同構拓樸熵公式的幾何證明。可惜，這位在遍歷理論研究中做出突出成就的數學家剛過而立之年就與世長辭了。