Wavelet Transforms

目标

首先, 既然是变换, 那么就是从一个域到另一个域, 即如下:
$$\begin{gathered} f(x)=\sum _k{c}_{j_0}(k){\phi }_{j_0,k}(x)+\sum _{j=j_0}^{\infty }\sum _k{d}_j(k){\psi }_{j,k}(x), \\ {c}_{j_0}=⟨f(x),{\phi }_{j_0,k}(x)⟩, \\ {d}_j=⟨f(x),{\psi }_{j,k}(x)⟩. \end{gathered}$$
或者离散的情况:
$$\begin{gathered} f(x)=\frac{1}{\sqrt{N}}[\sum _k{T}_{\phi }(j_0,k){\phi }_{0,0}(x)+\sum _{j=j_0}^{J-1}\sum _{k=0}^{2^j-1}{T}_{\psi }(j,k){\psi }_{j,k}(x)], \\ {T}_{\phi }(j_0,k)=⟨f(x),{\phi }_{0,0}(x)⟩=⟨f(x),{\phi }_{j_0,k}(x)⟩=\frac{1}{\sqrt{N}}\sum _{x=0}^{N-1}f(x){\phi }_{j_0,k}^{\ast }(x), \\ {T}_{\psi }(j,k)=⟨f(x),{\psi }_{j,k}(x)⟩=\frac{1}{\sqrt{N}}\sum _{x=0}^{N-1}f(x){\psi }_{j,k}^{\ast }(x). \end{gathered}$$

通过上述的变换, 将$f$变换至系数$c,d,T$.

上面 { φ , ψ } \{\varphi, \psi\} {φ,ψ}共同组成正交基(或者书中定义的biorthogonal), 小波变换主要关注的就是下面几个目标:

1. 迭代的构建正交基;
2. $\phi$能够提取低频信息, $\psi$能够提取高频信息;
3. 快速变换, 即高效计算$c,d,T$.

小波变换

Scaling Functions

小波变换的正交基是通过scaling functions引入的, 即如下的scaled and translated functions:
$${\phi }_{j,k}(x)=2^{j/2}\phi (2^{j}x-k),$$

定义$V_j$为固定$j$平移$k$所张成的空间 s p a n { φ j , k ∣ k ∈ Z } ‾ \overline{\mathrm{span}\{\varphi_{j, k}|k \in \mathbb{Z} \}} span{φj,k​∣k∈Z}​, 平方可积的scaling functions 同时需要满足下列的四个条件:

1. $⟨\phi (x),\phi (x-k)⟩,k\ne 0$;
2. $V_{-\infty }\subset \cdots \subset V_{-1}\subset V_0\subset V_2\cdots \subset V_{+\infty }$;
3. $f(x)=0$是唯一属于任意空间$V$的函数;
4. $V_{+\infty }=L^2(\mathbb{R})$.

上面的4个条件的严格叙述还是看书上比较好, 不确定是否就是这样, 我没有看过原论文, 只是按照自己理解来.

对于平方可积函数, 可知:
$$⟨\phi (x),\phi (x-k)⟩,\Rightarrow ⟨{\phi }_{j,n}(x),{\phi }_{j,n}(x-k)⟩,k\ne 0.$$

并由条件二可知:
$$\phi (x)=\sum _{k\in \mathbb{Z}}{h}_{\phi }(k)\sqrt{2}\phi (2x-k),$$
将$x=2^{j}x-n$代入可知,
$${\phi }_{j,n}(x)=\sum _{k\in \mathbb{Z}}{h}_{\phi }(k){\phi }_{j,2n+k}(x).$$
接着, 根据
$$⟨{\phi }_{j,n}(x),{\phi }_{j,n}(x-n^{\prime })⟩=0,n^{\prime }\ne 0,$$
可知
$$\begin{gathered} \sum _{k\in \mathbb{Z}}{h}_{\phi }(k)h_{\phi }(k-2n^{\prime })=h_{\phi }\star h_{\phi }^{\prime }(2n^{\prime })=0,n^{\prime }\ne 0 \\ {h}_{\phi }^{\prime }(k)=h_{\phi }(-k). \end{gathered}$$

注: 这里$\star$为卷积符号.

这说明, { h φ } \{h_{\varphi}\} {hφ​}偶数个是正交向量组. 其重要意义, 请看refer部分.

Wavelet Functions

既然
$$V_j\subset V_{j+1},$$
那么, 我们可以进而定义正交补$W_j$满足:
$$V_{j+1}=V_j\oplus W_j,$$
且
$$⟨f,g⟩=0,\forall f\in V_j,g\in W_j,$$
进一步, 我们可以知道
$$V_j=V_{j_0}\oplus W_{j_0}\oplus W_{j_0+1}\oplus \cdots \oplus W_{j-1},$$
且
$$\begin{gathered} ⟨f,g⟩=0,\forall f\in V_i,\forall g\in W_j,i\le j, \\ ⟨f,g⟩=0,\forall f\in W_i,\forall g\in W_j,i\ne j. \end{gathered}$$

倘若$W_j$由下列满足上述4个条件的函数:
$${\psi }_{j,k}(x)=2^{j/2}\psi (2^{j}x-k),$$
生成, 即
W j : = s p a n { ψ j , k ∣ k ∈ Z } ‾ . W_j := \overline{\mathrm{span}\{\psi_{j, k}| k \in \mathbb{Z}\}}. Wj​:=span{ψj,k​∣k∈Z}​.

同样有:
$$\begin{gathered} \psi (x)=\sum _{k\in \mathbb{Z}}{h}_{\psi }(k)\sqrt{2}\phi (2x-k), \\ {\psi }_{j,n}(x)=\sum _{k\in \mathbb{Z}}{h}_{\phi }(k){\psi }_{j,2n+k}(x). \end{gathered}$$
以及
$$\begin{gathered} \sum _{k\in \mathbb{Z}}{h}_{\psi }(k)h_{\psi }(k-2n^{\prime })=h_{\psi }\star h_{\psi }^{\prime }(2n^{\prime })=0,n^{\prime }\ne 0 \\ {h}_{\psi }^{\prime }(k)=h_{\psi }(-k). \end{gathered}$$

倘若我们通过
$$⟨{\psi }_{j,n}(x),{\phi }_{j,n}(x-k)⟩=0,$$
可以得出
$$\sum _{k\in \mathbb{Z}}{h}_{\psi }(k)h_{\phi }(k-2n^{\prime })=h_{\psi }\star h_{\phi }^{\prime }(2n^{\prime })=0,n^{\prime }\ne 0.$$

这说明$h_{\phi }(2n)$, 加上$h_{\psi }(2n)$能够构成正交基.

二者的联系

实际上, 可以证明(没去找这个证明),
$$h_{\psi }(k)=(-1{)}^k{h}_{\phi }(1-k).$$

以haar小波为例:
$$\phi (x)=\{\begin{array}{ll}1& 0\le x<1,\\ 0& \text{otherwise}.\end{array}$$

$${\phi }_{0,k}(x)=\frac{1}{\sqrt{2}}{\phi }_{1,2k}(x)+\frac{1}{\sqrt{2}}{\phi }_{1,2k+1}(x),$$

所以
$$\begin{gathered} h_{\phi }(0)=h_{\phi }(1)=\frac{1}{\sqrt{2}}, \\ {h}_{\phi }(n)=0,n\ne 0,1. \\ {h}_{\psi }(0)=\frac{1}{\sqrt{2}}, \\ {h}_{\psi }(1)=-\frac{1}{\sqrt{2}}, \\ {h}_{\psi }(n)=0,n\ne 0,1. \end{gathered}$$

离散的情形

上面的说明实际上都是在围绕平方可积的函数$\phi$说明的, 在离散的情况下需要特殊的处理(此处只能写点自己的理解了, 不是特别明白). 以haar小波为例:

$${\tilde{\phi }}_{j,k}(x)={\phi }_{j,k}(\frac{x}{N}),x=0,1,\cdots ,N-1.$$
因为$\phi$的支撑是$[0,1]$. 以$N=4$为例:
$$\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& -1& -1\\ \sqrt{2}& -\sqrt{2}& 0& 0\\ 0& 0& \sqrt{2}& -\sqrt{2}\end{array}\right]\begin{array}{c}\to {\phi }_{0,0}\\ \to {\phi }_{0,1}\\ \to {\phi }_{1,0}\\ \to {\phi }_{1,1}\end{array}.$$
但是需要注意的是, $h_{\phi }$是不变的(既然我们只是等式两边都需要进行相同的变量替换).

只是, 问题是, 如何证明离散后的向量之间依旧能够保持正交关系(应该是需要别的条件吧). 不过幸运的是$h$之间的正交关系是保持的.

高效变换

假设我们已经求出 { h φ , h ψ } \{h_{\varphi}, h_{\psi}\} {hφ​,hψ​}, 如何快速计算系数:
$$c,d,T.$$

实际上,
$$\begin{gathered} c_j(k)=\sum _n{h}_{\phi }(n-2k)c_{j+1}(n)=c\star h_{\phi }^{\prime }(2k), \\ {d}_j(k)=\sum _n{h}_{\psi }(n-2k)c_{j+1}(n)=c\star h_{\psi }^{\prime }(2k), \\ {T}_{\phi }(j,k)=\sum _n{h}_{\phi }(n-2k)T_{\phi }(j+1,n)=T_{\phi }(j+1,\cdot )\star h_{\phi }^{\prime }(2k), \\ {T}_{\psi }(j,k)=\sum _n{h}_{\psi }(n-2k)T_{\phi }(j+1,n)=T_{\phi }(j+1,\cdot )\star h_{\psi }^{\prime }(2k). \end{gathered}$$

从上面的公式可以看出, 我们可以从后向前地逐步计算系数. 又
$$[f\star g(0),f\star g(2)\cdots f\star g(2n)\cdots ]=[f\star g(0),f\star g(1)\cdots f\star g(n)\cdots {]}_{2\downarrow },$$
其中$2\downarrow$表示下采样, 即
$$y_{2\downarrow }(n)=y(2n).$$

具体的计算流程便如下图所示:

从上图可以看出, 我们首先需要知道$T_{\phi }(J,k)$, 但是实际上, 我们不会直接计算此, 而是直接从$f(x)$中采样. 具体原因见p515 底部, 但是说实话此解释并不是很理解, 这给我的感觉像是脱离了原来的基$\phi ,\psi$了. 而且书中给出的例子中, $\phi ,\psi$也似乎只有一个计算$h$的功能, 这让我对最初的变换的目标产生困惑, 但是暂时还是先不深入了.

我们可以通过下列的操作, 从叶节点回推之前的结果.

其原理如下:

注意到
$$\begin{gathered} h\star f(n)=\sum _{k=0}^{N-1}h(n-k)f(k)=a_n^{T}f, \\ a(n)=[h(0),h(n-1),\cdots ,h(n-N+1)], \end{gathered}$$
则
$$A=[a_0,a_1,\cdots ,a_{N-1}]=\left[\begin{array}{cccc}h(0)& h(1)& \cdots & h(N-1)\\ h(-1)& h(0)& \cdots & h(N-2)\\ ⋮& ⋮& \ddots & ⋮\\ h(1-N)& h(2-N)& \cdots & h(0),\end{array}\right][h\star f]=A^{T}f.$$
定义
$$h^{\prime }(n)=h(-n),$$
则有
$$[h^{\prime }\star f]=Af.$$

特别定义$A_{\phi },A_{\psi }$来特别指明$h_{\phi },h_{\psi }$所对于的矩阵, $A_{{\phi }_{2n}}=[a_0,a_2,\cdots ,a_{2n}\cdots ]$ 表示$A_{\phi }$的偶数行, 则
$$[h_{\phi }^{\prime }\star f{]}_{2\downarrow }=A_{{\phi }_{2n}}f,$$
于是:
$$[h_{\phi }\star [h_{\phi }^{\prime }\star f{]}_{2\downarrow 2\uparrow }]=A_{{\phi }_{2n}}^T{A}_{{\phi }_{2n}}f,$$
类似地, 有
$$[h_{\psi }\star [h_{\psi }^{\prime }\star f{]}_{2\downarrow 2\uparrow }]=A_{{\psi }_{2n}}^T{A}_{{\psi }_{2n}}f,$$
又
$$A_{{\phi }_{2n}}^T{A}_{{\phi }_{2n}}+A_{\psi 2n}^T{A}_{\psi 2n}=[A_{{\phi }_{2n}}^T,A_{{\psi }_{2n}}^T]\left[\begin{array}{c}{A}_{{\phi }_{2n}}\\ A_{{\psi }_{2n}}\end{array}\right]=I,$$
这就保证了能够恢复$f$, 这也是为什么需要$2\downarrow ,2\uparrow$的原因.

注: 不论$j$为多少, $ h \star f = \sum_{k=0}^{2J-1}\dots$而不是 $h\star f={\sum }_{k=0}^{2^j-1}\dots$, 个人感觉后者是推不出上面的结果的.

二维的情形

二维考虑可分的情况, 按照下面的基:
$$\begin{gathered} \varphi (x,y)=\phi (x)\phi (y), \\ {\psi }^H(x,y)=\psi (x)\phi (y), \\ {\psi }^V(x,y)=\phi (x)\psi (y), \\ {\psi }^D(x,y)=\psi (x)\psi (y). \end{gathered}$$
容易证明上面能够构成一组基.
假设
$$f(x,y),x=0,1,\cdots ,2^{J_1-1},y=0,1,\cdots ,2^{J_2-1}.$$

为了计算对应的系数, 步骤如下:

计算的过程, 实际上就是将逐步采用一维的方式来(既然基是可分的), 第一步, 沿着$x$轴, 对每一列采取一维的DWT, 分别得到高频和低频信息, 如上图的阴影部分表示高频部分. 然后再在此基础上, 对于每一行采取一维的DWT, 再区分高频和低频信息. 故$\varphi$实际上提取的是低频信息, ${\psi }^H$实际上提取的是水平方向的高频信息, ${\psi }^V$提取的是垂直方向上的高频信息, ${\psi }^D$是整体的高频信息(对角).

示例

PyWavelets

import numpy as np
import matplotlib.pyplot as plt
import pywt
from PIL import Image

img = np.array(Image.open("Lenna.jpg").convert('L'))
LL, (LH, HL, HH) = pywt.dwt2(img, 'haar')
fig, axes = plt.subplots(2, 2)
axes[0, 0].imshow(LL, cmap=plt.cm.gray)
axes[0, 1].imshow(LH, cmap=plt.cm.gray)
axes[1, 0].imshow(HL, cmap=plt.cm.gray)
axes[1, 1].imshow(HH, cmap=plt.cm.gray)