Mutual-Structure for Joint Filtering

以前的联合/引导滤波器将参考图像中的结构信息直接传输到目标图像，它的主要缺点：两个图像中可能存在完全不同的边缘。简单地将所有图像传递给目标可能会出错。
作者对结构不一致性问题，提出了相互结构的概念，以增强基于目标图像和参考图像中公共信息的联合处理能力。即考虑了参考图像和目标图像之间的可能差异，并估计了它们的相互结构，作为联合滤波的新参考。此框架通常用于处理具有不同结构或不同光谱配置的图像。它很好地抑制了输入图像中不常见的信息。

(a)和(b)是输入图像和参考图像。由于(b)具有与深度无关的额外边缘，它是一张RGB图，并且输入图像(a)有噪声，因此联合滤波器会生成不需要的结构，如©和(d)所示。因此，在联合过滤中必须选择正确的边缘。

联合/引导图像过滤器
局部联合方法：双边滤波器，引导滤波器，基于测地距离的滤波器等。考虑色差和空间距离的相似度来设置局部平滑图像的权重。
全局联合方法：比如WLS，通过设置一个l1、l2范数的目标函数来优化最值。

联合滤波的互结构
下图是一个地方白天和晚上的照片。
互结构：如图c,互结构指两幅图形状结构一致的区域。不需要灰度大小、梯度一直，只要轮廓相同即可。
不一致结构：如图d，同一位置两幅图呈现完全不同的结构。
平滑区域：如图e，图像中常见的地方查平滑块，容易收到噪声和其他视觉伪影的影响。
作者旨在找到两个输入图像中的相互结构，并使其进行联合滤波。所以不仅要过滤目标图像，还要过滤参考图像。

I0:输入目标图像，G0:参考图像；
I：输出目标图；G：互结构引导图；
P（x,y）^T:像素坐标；
I0,p和G0,p,Ip,Gp是I0,G0,I,G中的像素强度；
N§:以p为中心的像素集；N§ 中的像素数为| N |。

测量I和G中相应图像间的结构相似性，然后定义相应的约束。最后描述了联合优化I和G的目标函数。
结构相似性：I和G两个图像块的相似性用NCC（归一化相关）来表示：

Conv(Ip,Gp)是图像块强度的协方差，协方差公式：
协方差用来刻画两个随机变量x,y之间的相关性如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。根号下的两个数表示方差。当两个图像块具有相同的边缘，ρ=1，否则|ρ|<1，当图像块结构越相似，|ρ|越大。由于ρ是非线性的，不好计算，于是作者找到它和最小二乘法的关系，最小二乘法好计算。

a是系数，这个方程线性地表示G中的图像块通过I中的该图像块。
下式通过系数a表示最小误差：

在输入的图像块相同时，e(Ip, Gp)与NCC方法相关。
e(Ip, Gp)和ρ(Ip, Gp)的关系：
其中σ(Gp)是G中以p为中心的图像块的方差。

作者的图像块相似度方法：

从这个表达式中，我们容易得到他在三种区域的表现：
1.Mutual-Structures：|ρ(Ip, Gp)|达到1时，S趋于0
2. Inconsistent Structures（图像块结构不一致）：ρ趋近于0，且因为包含细节，两个方差中至少有一个比较大，从而S较大。
3. Smooth Regions：因为两个方差都很小，从而S较小。这并不和1产生矛盾，因为这种平滑区域也可以视作是Mutual-Structures。

目标函数：

它可以产生平凡解，作者引入了正则项来避免琐碎的解决方案，并产生合理的平滑效果以消除噪声。

此外，我们还可以再加正则项使图像满足一定的光滑性或者是能够去除图像中的噪声：

最终目标函数即为：

算法流程：

实验结果

应用

我们的方法可以应用到许多场景，例如图像分割，图像特征提取和图像恢复一类的问题中。

下图是先利用作者的方法提取共同结构，再做边缘提取。

下图是对RGB图去噪。