5、超分辨率技术：从低分辨率图像到高分辨率重建

超分辨率技术：从低分辨率图像到高分辨率重建

1. 观测模型

为了全面分析超分辨率算法，明确高分辨率图像与多个低分辨率图像之间的关系是必要的。其中，观测模型是一种著名且广泛使用的图像形成模型。其基本概念是，如果我们知道多个低分辨率图像是如何从高分辨率图像生成的，那么就可以通过观测模型的逆过程，从多个低分辨率图像重建出高分辨率图像。

对于视频序列，我们用 (f (x, y, t)) 表示被捕获的在时间和空间上连续的动态场景。若该场景按照奈奎斯特准则在时间和空间上进行采样，就可以用高分辨率序列 (f_l (m, n)) 表示，其中 (l = 1, \cdots, L)，(m = 0, \cdots, PM - 1)，(n = 0, \cdots, PN - 1)，分别为离散的时间和空间坐标。参数 (P) 被称为放大因子，为了简化且不失一般性，我们在两个方向上使用相同的放大因子 (P)。但需要注意的是，根据可用图像，可能无法在两个方向上以相同程度提高空间图像分辨率。

在进一步讨论之前，我们引入图像和图像序列的矩阵 - 向量表示法。每个 (PM \times PN) 的图像可以通过字典序排序转换为 ((PM \times PN) \times 1) 的列向量。高分辨率序列中第 (l) 个图像用 ((PM \times PN) \times 1) 的向量 (f_l) 表示，若将所有帧 (f_l)（(l = 1, \cdots, L)）按字典序排序，可得到维度为 ((L \times PM \times PN) \times 1) 的向量 (f)。

高分辨率序列 (f) 输入到成像系统后生成低分辨率图像 (g)。超分辨率的目标是从可用的低分辨率图像中获取高分辨率帧 (f_k