漫谈FIR（下）

漫谈FIR（下）

不成熟的想法

变换的方法多种多样，而Fourier方法在数学、物理、工程中的研究和应用远高于Taylor、Legendre等其他方法。究其原因，也许因为指数函数是微分算子的特征函数，即是微分方程的广泛应用导致了Fourier方法的无处不在。
在很长的一段时间里，我会把式（1.3）的等于号写作“~”。对于某些具备第一类间断点的函数而言，无法想象它能展开成光滑的指数函数，实际情况也是如此，Gibbs现象即是证明。不用和我说什么逐点收敛、一致收敛、依$L^2$收敛或者其他，Gibbs现象的两只大耳朵在那摆着，长得就不一样，不相等就是不相等。
但是慢慢地想明白了一件事，“相等”是个哲学话题，答案也行不唯一。正如收敛有强弱，相等也是可以打折的。
Lebesgue曾经思考过这一问题：如果$f$、$g$是区间$[a,b]$上的可测函数，$f=g$，当对于$[a,b]$上任意的$h$，有
$${\int }_{\text{a}}^{b}f(x)h(x)dx={\int }_{\text{a}}^{b}g(x)h(x)dx\text{\hspace{1em}(5.1)}$$
它的含义是测度为零的集合上的值不影响Lebesgue积分，进而不影响$f=g$的成立——不管$f$和$g$长得一不一样，只要和$h$相作用的结果是一样的就行了。
让我们沿着Lebesgue的思路进一步思考，当$h$是指定的，只要式（5.1）成立，那么$f=g$。我们可以把$h$看成某个有输入输出的系统，当输入$f$和$g$，只要它们的输出相等，对于$h$而已，它无法区分$f$和$g$，即在$h$看来，$f=g$。
这也是好理解的，回想一下学生时代，59分就是比58分多一分，就是更优秀，但是补考规则对此不做区分，两位同学面临相同的命运，这时$58=59$。
我们拿项目，同事a酒桌上搞定了，同事b发挥钞能力，在老板看来，a和b是等效的，$a=b$。
工程师看待这个问题，会稍微复杂那么一点点，系统的输入输出，他们会用卷积来描述这一过程。如果
$${\int }_{-\infty }^{+\infty }f\left(\tau \right)h\left(x-\tau \right)d\tau ={\int }_{-\infty }^{+\infty }g\left(\tau \right)h\left(x-\tau \right)d\tau \text{\hspace{1em}(5.2)}$$
那么$f=g$。嗯…，式（1.3）可以画等号了。
再说点吧，我们搞工程的，差不多就是相等。还在读书的时候，作为一个准工程师，我就体会过这一点。面对一个电路，输入$\delta \left(\text{t}\right)$，得到$\text{h}\left(t\right)$，输入$\delta (t+\Delta t)$，得到$\text{h}(t+\Delta t)$。当$\Delta t$足够小，$\text{h}(t)$和$\text{h}(t+\Delta t)$的差别就会小到可以忽略，也就是说，当输入$\delta (t)+\delta (t+\Delta t)$，输出就约等于$2\text{h}(t)$。也就是说，在工程上，当$\Delta t$足够小，输入信号的面积比输入的信号形状更关键。
这是有一定年头的想法了，这么多年了，还没有长进，停留在不成熟的阶段。
偶尔我会想，其实，我还是有值得认可的地方，尽管穷困潦倒，但是，我在思考，用一颗不太好用的脑袋。

备注1：$L^2$上的不确定性原理的理解

在工作中我们会遇到这样的苦恼，有一个信号需要分析，我们要对它进行采样，为了在频域上有足够好的分辨率，不得不获取足够长的采样序列，这带来了存储和算力方面的开销。这是一对矛盾。聪明的工程师会告诉我们，深层次的原因是不确定原理。我显然还不够聪明，因为计算机上的数据是${\mathbb{R}}^{\text{N}}$上的，我没读过这方面文章。好在$L^2$上的文章足够多，在这里我把我的理解写下来，错愕之处请读者斧正。
定义如下的变换对
$$f(t)\underset{F^{-1}}{\stackrel{F}{⟷}}\hat{f}(w)\text{\hspace{1em}(6.1)}$$
有如下公式需要我们去解释
$${\Delta }_{\tilde{t}}f{\Delta }_{\tilde{w}}\hat{f}\ge \frac{1}{4}\text{\hspace{1em}(6.2)}$$
对于函数$f$，我们可以画出它的图像。对于它的图像，其实可以从概率的角度去看，即把$p_f=\frac{{|f(t)|}^2}{{\int }_{-\infty }^{\infty }{|f(t)|}^{2}dt}$看作是概率密度函数（学过量子力学的读者对此应该不会陌生）。对称的，有$p_{\hat{f}}=\frac{{|\hat{f}(w)|}^2}{{\int }_{-\infty }^{\infty }{|\hat{f}(w)|}^{2}dw}$。我喜欢对$f$做归一化，即令${\int }_{-\infty }^{\infty }{\left|f(t)\right|}^{2}dt=1$，这样可以简化问题。
自然的，可以求出二者的期望和方差$E(p_f)$、$E(p_{\hat{f}})$、$\mathrm{Var}(p_f)$、$\mathrm{Var}(p_{\hat{f}})$。在很多文章中${\Delta }_{\tilde{t}}f$、${\Delta }_{\tilde{w}}\hat{f}$就称作方差，定义如下
$$\{\begin{array}{c}{\Delta }_{\tilde{t}}f=\frac{{\int }_{-\infty }^{\infty }{(t-\tilde{t})}^2{|f|}^{2}dt}{{\int }_{-\infty }^{\infty }{|f|}^{2}dt}\\ {\Delta }_{\tilde{w}}\hat{f}=\frac{{\int }_{-\infty }^{\infty }{(w-\tilde{w})}^2{|\hat{f}|}^{2}dw}{{\int }_{-\infty }^{\infty }{|\hat{f}|}^{2}dw}\end{array}\text{\hspace{1em}(6.3)}$$
显然，当$\tilde{t}$和$\tilde{w}$表示期望值的时候，这种理解是对的。事实上，$\tilde{t}$和$\tilde{w}$可以取任意值，式（6.2）依旧成立。这时候可以称呼${\Delta }_{\tilde{t}}f$、${\Delta }_{\tilde{w}}\hat{f}$为在$\tilde{t}$、$\tilde{w}$处的分辨率。显然，当$\tilde{t}$和$\tilde{w}$表示期望值的时候，可以取到最小值，即有高分辨率。
将式（6.2）左侧展开，有
$${\Delta }_{\tilde{t}}f\cdot {\Delta }_{\tilde{w}}\hat{f}=\frac{{\int }_{-\infty }^{\infty }{(t-\tilde{t})}^2{\left|f\right|}^{2}dt\cdot {\int }_{-\infty }^{\infty }{(w-\tilde{w})}^2{\left|\hat{f}\right|}^{2}dw}{{\int }_{-\infty }^{\infty }{\left|f\right|}^{2}dt\cdot {\int }_{-\infty }^{\infty }{\left|\hat{f}\right|}^{2}dw}\text{\hspace{1em}(6.4)}$$
在这里我们看到了Schwarz不等式的影子。对公式进行换元可得
$${\Delta }_{\tilde{t}}f\cdot {\Delta }_{\tilde{w}}\hat{f}=\frac{{\int }_{-\infty }^{\infty }{t}^2{\left|f(t+\tilde{t})\right|}^{2}dt\cdot {\int }_{-\infty }^{\infty }{w}^2{\left|\hat{f}(w+\tilde{w})\right|}^{2}dw}{{\int }_{-\infty }^{\infty }{\left|f(t+\tilde{t})\right|}^{2}dt\cdot {\int }_{-\infty }^{\infty }{\left|\hat{f}(w+\tilde{w})\right|}^{2}dw}\text{\hspace{1em}(6.5)}$$
分母是函数的范的平方，而分子过于复杂了，需要改造。根据Fourier变换的位移性质
$$\{\begin{array}{c}f(t+\tilde{t})\leftrightarrow e^{iw\tilde{t}}\hat{f}(w)\\ f(t)e^{-i\tilde{w}t}\leftrightarrow \hat{f}(w+\tilde{w})\end{array}$$
可得$$e^{-i\tilde{w}t}f(t+\tilde{t})\leftrightarrow e^{i(w+\tilde{w})\tilde{t}}\hat{f}(w+\tilde{w})$$
令
$$\{\begin{array}{c}g(x)=e^{-i\tilde{w}t}f(t+\tilde{t})\\ \hat{g}(w)=e^{i(w+\tilde{w})\tilde{t}}\hat{f}(w+\tilde{w})\end{array}$$
代入式（6.5），得
$${\Delta }_{\tilde{t}}f\cdot {\Delta }_{\tilde{w}}\hat{f}=\frac{{\int }_{-\infty }^{\infty }{t}^2{\left|g\right|}^{2}dt\cdot {\int }_{-\infty }^{\infty }{w}^2{\left|\hat{g}\right|}^{2}dw}{{\Vert g\Vert }^2\cdot {\Vert \hat{g}\Vert }^2}\text{\hspace{1em}(6.6)}$$
令分子
$$G={\int }_{-\infty }^{\infty }{t}^2{\left|g\right|}^{2}dt\cdot {\int }_{-\infty }^{\infty }{w}^2{\left|\hat{g}\right|}^{2}dw\text{\hspace{1em}(6.7)}$$
根据微分性质有
$$g^{{}^{\prime }}\leftrightarrow iw\hat{g}$$
以及保范性有
$${\int }_{-\infty }^{\infty }{\left|g^{{}^{\prime }}\right|}^{2}dt={\int }_{-\infty }^{\infty }{w}^2{\left|\hat{g}\right|}^{2}dw$$
带入式（6.7）有
$$G={\int }_{-\infty }^{\infty }{t}^2{\left|g\right|}^{2}dt\cdot {\int }_{-\infty }^{\infty }{\left|g^{{}^{\prime }}\right|}^{2}dt\text{\hspace{1em}(6.8)}$$
由Schwarz不等式，得
$$G\ge {\left|{\int }_{-\infty }^{\infty }tg\cdot g^{{\ast }^{\prime }}dt\right|}^2\text{\hspace{1em}(6.9)}$$
令
$$\tilde{G}={\int }_{-\infty }^{\infty }tg\cdot g^{{\ast }^{\prime }}dt$$
$$=tg\cdot g^{\ast }{|}_{-\infty }^{\infty }-{\int }_{-\infty }^{\infty }{g}^{\ast }\cdot {(tg)}^{{}^{\prime }}dt$$
$$=-{\int }_{-\infty }^{\infty }{g}^{\ast }\cdot {(tg)}^{{}^{\prime }}dt$$
$$=-{\int }_{-\infty }^{\infty }{g}^{\ast }\cdot (gdt+tdg)$$
$$=-{\int }_{-\infty }^{\infty }{g}^{\ast }gdt-{\int }_{-\infty }^{\infty }t{g}^{\ast }dg$$
整理可得
$${\int }_{-\infty }^{\infty }{g}^{\ast }gdt=-({\int }_{-\infty }^{\infty }tg\cdot d{g}^{\ast }+{\int }_{-\infty }^{\infty }t{g}^{\ast }dg)$$
右侧括号内两项互为共轭，因此虚部抵消，实部加倍。由实部小于模长可得
$${\int }_{-\infty }^{\infty }{g}^{\ast }gdt\le 2\left|{\int }_{-\infty }^{\infty }tg\cdot d{g}^{\ast }\right|\text{\hspace{1em}(6.10)}$$
由式（6.8）~式（6.9）得
$$G={\int }_{-\infty }^{\infty }{t}^2{\left|g\right|}^{2}dt\cdot {\int }_{-\infty }^{\infty }{\left|g^{{}^{\prime }}\right|}^{2}dt\ge {\left|{\int }_{-\infty }^{\infty }tg\cdot d{g}^{\ast }\right|}^2\ge \frac{1}{4}{\left|{\int }_{-\infty }^{\infty }{\left|g\right|}^{2}dt\right|}^2=\frac{1}{4}{\left({\Vert g\Vert }^2\right)}^2$$
根据保范性可知
$$\Vert g\Vert =\Vert g^{{}^{\prime }}\Vert$$
得
$$\frac{G}{{\Vert g\Vert }^2\cdot {\Vert \hat{g}\Vert }^2}\ge \frac{1}{4}$$
即
$${\Delta }_{\tilde{t}}f{\Delta }_{\tilde{w}}\hat{f}\ge \frac{1}{4}$$
$QED$。

备注2：$l^2\to L^2$的不确定性原理的理解

有了备注1，这一节就好理解了。
定义如下变换对
$$x\left[n\right]\underset{F^{-1}}{\stackrel{F}{⟷}}\hat{x}\left(\omega \right)$$
分别概率密度函数
$$\{\begin{array}{c}{p}_x=\frac{{|x\left[n\right]|}^2}{\sum _{N=-\infty }^{\infty }{|x\left[N\right]|}^2}\\ p_{\hat{x}}=\frac{{|\hat{x}\left(\omega \right)|}^2}{{\int }_{-\pi }^{\pi }{|\hat{x}\left(w\right)|}^{2}dw}\end{array}$$
为了简便起见。假设已经做了归一化，那么方差就是
$$\{\begin{array}{c}{\Delta }_{\tilde{n}}x=\sum _{n=-\infty }^{\infty }{\left(n-\tilde{n}\right)}^2{\left|x\left[n\right]\right|}^2\\ {\Delta }_{\tilde{\omega }}\hat{x}={\int }_{-\pi }^{\pi }{\left(\omega -\tilde{\omega }\right)}^2{\left|\hat{x}\left(\omega \right)\right|}^{2}d\omega \end{array}$$
得
$${\Delta }_{\tilde{n}}x\cdot {\Delta }_{\tilde{\omega }}\hat{x}=\sum _{n=-\infty }^{\infty }{\left(n-\tilde{n}\right)}^2{\left|x\left[n\right]\right|}^2\cdot {\int }_{-\pi }^{\pi }{\left(\omega -\tilde{\omega }\right)}^2{\left|\hat{x}\left(\omega \right)\right|}^{2}d\omega$$
其中$\tilde{n}$、$\tilde{\omega }$分别是$n$、$\omega$的期望。换元
$${\Delta }_{\tilde{n}}x\cdot {\Delta }_{\tilde{\omega }}\hat{x}=\sum _{n=-\infty }^{\infty }{n}^2{\left|x\left[n+\tilde{n}\right]\right|}^2\cdot {\int }_{-\pi }^{\pi }{\omega }^2{\left|\hat{x}\left(\omega +\tilde{\omega }\right)\right|}^{2}d\omega$$
根据位移性质
$$\{\begin{array}{c}x\left[n+\tilde{n}\right]\leftrightarrow e^{j\omega \tilde{n}}\hat{x}\left(\omega \right)\\ e^{-j\tilde{\omega }n}x\left[n\right]\leftrightarrow \hat{x}\left(\omega +\tilde{\omega }\right)\end{array}$$
可得
$$e^{-j\tilde{\omega }n}x\left[n+\tilde{n}\right]\leftrightarrow e^{j\left(\omega +\tilde{\omega }\right)\tilde{n}}\hat{x}\left(\omega +\tilde{\omega }\right)$$
这一步存在一个问题，当$\tilde{n}\notin \mathbb{Z}$，$x\left[n+\tilde{n}\right]$没有意义。可是，如果我们将序列$x\left[n\right]$看成是$x\left(t\right)$的采样，那么$x\left[n+\tilde{n}\right]$可以解释为将采样时刻延迟$\tilde{n}$，于是我们的推导得以继续。令
$$\{\begin{array}{c}g\left[n\right]=e^{-j\tilde{\omega }n}x\left[n+\tilde{n}\right]\\ \hat{g}\left(\omega \right)=e^{j\left(\omega +\tilde{\omega }\right)\tilde{n}}\hat{x}\left(\omega +\tilde{\omega }\right)\end{array}$$
得
$${\Delta }_{\tilde{n}}x\cdot {\Delta }_{\tilde{\omega }}\hat{x}=\sum _{n=-\infty }^{\infty }{n}^2{\left|g\right|}^2\cdot {\int }_{-\pi }^{\pi }{\omega }^2{\left|\hat{g}\right|}^{2}d\omega$$
因为
$$ng\left[n\right]\leftrightarrow i\frac{d}{d\omega }\hat{g}\left(\omega \right)$$
得
$$\sum _{n=-\infty }^{\infty }{n}^2{\left|g\right|}^2={\int }_{-\pi }^{\pi }{\left|\frac{d}{d\omega }\hat{g}\right|}^{2}d\omega$$
由Schwarz不等式，得
$${\Delta }_{\tilde{n}}x\cdot {\Delta }_{\tilde{\omega }}\hat{x}={\int }_{-\pi }^{\pi }{\left|\frac{d}{d\omega }\hat{g}\right|}^{2}d\omega \cdot {\int }_{-\pi }^{\pi }{\omega }^2{\left|\hat{g}\right|}^{2}d\omega \ge {\left|{\int }_{-\pi }^{\pi }\omega \hat{g}\frac{d}{d\omega }{\hat{g}}^{\ast }d\omega \right|}^2$$
令
$$\tilde{G}={\int }_{-\pi }^{\pi }\omega \hat{g}\frac{d}{d\omega }{\hat{g}}^{\ast }d\omega$$
即
$$\tilde{G}=\omega \hat{g}{\hat{g}}^{\ast }{|}_{-\pi }^{\pi }-{\int }_{-\pi }^{\pi }{\hat{g}}^{\ast }\frac{d}{d\omega }\left(\omega \hat{g}\right)d\omega$$
$$\tilde{G}=-{\int }_{-\pi }^{\pi }{\hat{g}}^{\ast }\frac{d}{d\omega }\left(\omega \hat{g}\right)d\omega$$
$$\tilde{G}=-{\int }_{-\pi }^{\pi }{\hat{g}}^{\ast }\hat{g}d\omega -{\int }_{-\pi }^{\pi }\omega {\hat{g}}^{\ast }d\hat{g}$$
整理可得
$${\int }_{-\pi }^{\pi }{\hat{g}}^{\ast }\hat{g}d\omega =-\left({\int }_{-\pi }^{\pi }\omega \hat{g}d{\hat{g}}^{\ast }+{\int }_{-\pi }^{\pi }\omega {\hat{g}}^{\ast }d\hat{g}\right)$$
右侧括号内两项互为共轭，因此虚部抵消，实部加倍。由实部小于模长可得
$${\int }_{-\pi }^{\pi }\hat{g}{\hat{g}}^{\ast }d\omega \le 2\left|{\int }_{-\pi }^{\pi }\omega \hat{g}d{\hat{g}}^{\ast }\right|$$
因此
$${\Delta }_{\tilde{n}}x\cdot {\Delta }_{\tilde{\omega }}\hat{x}\ge {\left|{\int }_{-\pi }^{\pi }\omega \hat{g}\frac{d}{d\omega }{\hat{g}}^{\ast }d\omega \right|}^2={\left|{\int }_{-\pi }^{\pi }\omega \hat{g}d{\hat{g}}^{\ast }\right|}^2\ge \frac{1}{4}{\Vert \hat{g}\Vert }^2=\frac{1}{4}$$
$QED$。