54、小波与曲波变换：多尺度分析工具的深入解析

小波与曲波变换：多尺度分析工具的深入解析

1. 小波分析中的噪声分布与MDL准则

在信号处理中，我们常常需要处理含有噪声的观测序列。通常假设观测序列的噪声分布 $f$ 是 $\varepsilon$-污染正态分布族中某个未知成员的（可能）缩放版本，即：
$$P_{\varepsilon} = {(1 - \varepsilon)\varPhi + \varepsilon G : G \in \mathcal{F}}$$
其中，$\varPhi$ 是标准正态分布，$\mathcal{F}$ 是所有适当平滑的分布函数集合，$\varepsilon \in (0, 1)$ 是已知的污染比例。当混合参数 $\varepsilon = 0$ 时，该研究直接简化为加性高斯噪声情况，因此这种假设更具一般性。

对于固定的模型阶数，最小描述长度（MDL）准则的期望是熵加上一个与分布和估计器的函数形式均无关的惩罚项。根据极小极大原理，我们寻找最不利的噪声分布，并针对该分布评估MDL准则。具体来说，我们解决一个极小极大问题，即在 $P_{\varepsilon}$ 中的所有分布上最大化熵，在估计器集合 $\mathcal{S}$ 中的所有估计器上最小化描述长度。若鞍点存在，它将产生MDL的极小极大鲁棒版本，我们称之为极小极大描述长度（MMDL）准则。

研究表明，$P_{\varepsilon}$ 中最不利的分布（同时也是使熵最大化的分布）是一种中心为高斯分布、尾部为拉普拉斯分布（“双指数”）的分布，且在一个取决于污染比例 $\varepsilon$ 的点处从一种分布切换到另一种分布。具体的分布 $f_H \in P_{\varepsilon}$ 使得负熵最小化，其表达式为：