熵-entropy

熵用于度量空间大小,这里只考虑函数类$\mathcal{G}$

设$Q$为空间$(\mathcal {X},\mathcal{A})$的测度,定义距离空间

$$L_p(Q)=\{g:\mathcal {X}\rightarrow R:\int|g|^pdQ<\infty\}$$
可以记$||g||_{p,Q}^p=\int|g|^pdQ$,$g\in L_p(Q)$

$L_p(Q)$距离下的熵:

对于$\delta>0$,存在函数集$\{g_1,g_2,...,g_N\}$s.t.对任意的$g\in\mathcal{G}$存在$j\in\{1,2,...,N\}$使得

$$||g-g_j ||_{p,Q}$$
记$N_p(\delta,\mathcal{G},Q)$为满足上述条件的最小的$N$,称作$\delta-$覆盖数.

称$H_p(\delta,\mathcal{G},Q)=\log N_p(\delta,\mathcal{G},Q)$为空间$\mathcal{G}$在$L_p(Q)$距离下的$\delta-$熵.

NOTE:若$H_p(\delta,\mathcal{G},Q)<\infty$对所有的$\delta>0$,则称$\mathcal{G}$是完全有界的,从而$\mathcal{G}$的闭包是紧的.

---

$L_p(Q)$距离下带括号的熵:

对于$\delta>0$,存在函数对的集$\{[g_j^L,g_j^U]\}_{j=1}^N$,$||g_j^U-g_j^L ||_{p,Q}\leq\delta$s.t.对任意的$g\in\mathcal{G}$存在$j\in\{1,2,...,N\}$使得

$$g_j^L\leq g\leq g_j^U$$
记$N_{pB}(\delta,\mathcal{G},Q)$为满足上述条件的最小的$N$,称作带括号的$\delta-$覆盖数.

称$H_{pB}(\delta,\mathcal{G},Q)=\log N_{pB}(\delta,\mathcal{G},Q)$为空间$\mathcal{G}$在$L_p(Q)$距离下带括号的$\delta-$熵.

---

Bernstein 距离:记

$$\rho_K^2(g)=2K^2\int (e^{|g|/K}-1-{|g|/K})dP,K>0$$
$\rho_K(g_1-g_2)$为$g_1,g_2$之间的Bernstein 距离.

---

带括号的广义熵:Bernstein 距离下带括号的熵
对于$\delta>0$,存在函数对的集$\{[g_j^L,g_j^U]\}_{j=1}^N$,$\rho_K(g_j^U-g_j^L )\leq\delta$s.t.对任意的$g\in\mathcal{G}$存在$j\in\{1,2,...,N\}$使得

$$g_j^L\leq g\leq g_j^U$$
记$\mathcal N_{pB}(\delta,\mathcal{G},P)$为满足上述条件的最小的$N$,称作带括号的$\delta-$覆盖数.

称$\mathcal H_{pB}(\delta,\mathcal{G},P)=\log \mathcal N_{pB}(\delta,\mathcal{G},P)$为空间$\mathcal{G}$在:Bernstein 距离下带括号的$\delta-$熵.