阅读导航:我们在上一节聊过线性滤波——高斯模糊就像给图像戴了一副毛玻璃眼镜,所有像素一视同仁地被"平均化"。但现实世界里的噪声并不总是温柔的高斯白噪声,图像边缘也不该被当作普通纹理一起抹平。别急,这一节我们就来探索几类"聪明"的滤波器:它们像有经验的修复师,知道哪里该填平、哪里该停手。
2.4.1 中值滤波:当排序统计遇上椒盐噪声
2.4.1.1 排序统计原理与椒盐噪声抑制机理
我们先从一个具体场景开始。想象你正在扫描一张老照片,扫描仪的传感器偶尔"抽风"——某些像素点突然变成纯黑或纯白,像撒了一把黑芝麻和白芝麻。这就是典型的椒盐噪声(Salt & Pepper Noise)。如果我们用之前学过的 5x5 均值滤波去处理,那些极端的黑白点会被周围像素"稀释",但代价是:整个图像都像蒙了一层薄雾,边缘变得软塌塌。
问题出在哪里? 线性滤波的本质是加权求和,那个极端的 255(白点)虽然被除以 25,但它仍然把整个邻域的均值往上拽了一段。就像班级里突然来了个亿万富翁,平均收入瞬间失真。
中值滤波(Median Filter)的思路完全不同。它不说"平均",而是说:“让我们看看这个窗口里谁处于中间位置。”
如果画成图,它看起来是这样的:
啊哈时刻:注意到那个 255 的极端值了吗?排序之后它直接被甩到了队列末尾,中位数 18 完全不受它影响。这就像选举班长时去掉最高分和最低分再取中间意见——极端值被天然地隔离了。
形式化地说:对于一个窗口 W 内的像素集合 {p1, p2, …, pN},中值滤波输出为
q = median({p<sub>i</sub> | i in W})
这个操作在数学上属于排序统计滤波(Order-Statistic Filtering)。它不是线性运算——你不能把它写成"卷积核矩阵与图像的乘积和",因为排序操作破坏了叠加原理。
算法 1:中值滤波(标量版本)
输入:图像 I,窗口半径 r
输出:滤波图像 Q
for each pixel i in I do
W <- 以 i 为中心、边长 (2r+1) 的方形邻域
vals <- { I[j] | j in W }
sorted <- SortAscending(vals)
Q[i] <- sorted[ |W| / 2 ] // 取中位数
end
这在实际使用中意味着什么? 在 OpenCV 里,一行代码就能调用:
dst = cv2.medianBlur(src, ksize=5) # 5x5 中值滤波
但请记住:中值滤波只擅长对付脉冲型噪声(椒盐噪声)。如果你面对的是胶片颗粒那种均匀分布的高斯噪声,它的表现反而不如高斯滤波——因为高斯噪声没有极端离群点,排序操作反而丢失了统计平均的优势。
2.4.1.2 核尺寸对边缘模糊的非线性影响(优于线性均值)
现在我们已经了解了中值滤波如何消灭离群点,接下来看看另一个关键问题:如果我把窗口从 3x3 扩大到 7x7,边缘会发生什么?
在线性均值滤波里,答案很直接:核越大,边缘越糊,而且模糊程度是均匀且可预测的——本质上就是用一个更大的低通滤波器,边缘的过渡带被拉宽成一条斜坡。
但中值滤波的行为是非线性的,而且有点"叛逆"。来看一个 toy example:
想象一条理想的垂直边缘,左侧像素值全是 50,右侧全是 200。我们在边缘上取一个 3x3 窗口:
啊哈! 中心像素被判定为 50,它仍然属于左侧区域。中值滤波没有制造出一个 125 的过渡灰度,而是坚定地"站队"到像素数量更多的那一侧。只要窗口内某一侧的像素数量超过 50%,中位数就会落在那一侧。
这意味着什么? 在较小窗口下,中值滤波对边缘的定位精度极高,它不会像均值滤波那样把边缘抹成渐变带。但如果窗口继续扩大到 15x15,窗口跨越边缘时两侧像素数量接近平衡,中位数就会开始"摇摆",边缘出现块状失真。
结构化伪代码——边缘保留的直观演示:
算法 2:核尺寸对边缘影响的 Toy Example
输入:一维阶跃信号 S[1..N],左段值 = L,右段值 = R
窗口半径 r
输出:滤波后信号 Q
for i <- 1 to N do
W <- { max(1, i-r) ... min(N, i+r) }
vals <- { S[j] | j in W }
if 窗口跨边缘 then
left_count <- |{ v in vals | v == L }|
right_count <- |{ v in vals | v == R }|
if left_count > right_count then
Q[i] <- L // "站队"到左侧
else if right_count > left_count then
Q[i] <- R // "站队"到右侧
else
Q[i] <- (L+R)/2 // 势均力敌时才模糊
end
else
Q[i] <- median(vals)
end
end
在继续之前,请记住这个直觉:中值滤波的边缘模糊不是线性的渐变,而是"延迟的断裂"——它努力保持阶跃,直到物理上无法维持(窗口太大)。这让它在去除椒盐噪声的同时,比均值滤波更好地保留了文字、二维码这类强边缘结构。
2.4.1.3 多通道中值的向量排序与独立通道处理策略
第一步,我们先思考:彩色图像有 B、G、R 三个通道,中值滤波该怎么处理?
听起来抽象对吧? 如果我们把每个像素看作三维空间里的一个向量 (B, G, R),那么"中位数"的定义就变得微妙了。在标量世界里,排序是唯一的;但在向量空间里,什么是"中间"?
向量中值(Vector Median) 的一种定义是:找到一个向量 v,使得它到窗口内所有其他向量的距离之和最小。
v<sub>VM</sub> = argmin<sub>v in W</sub> Sigma<sub>u in W</sub> ||v - u||<sub>2</sub>
如果画成图,它像是在 RGB 立方体里找一个"几何中心":
别急,OpenCV 的 medianBlur 并没有走这条复杂路线。它采用的是独立通道处理策略(Channel-wise Median):分别对 B、G、R 三个通道做标量中值滤波,然后重新组合。
这会带来什么问题? 想象窗口里有两个像素:像素 A 是 (255, 0, 0) 纯红,像素 B 是 (0, 255, 0) 纯绿。独立通道处理后,R 通道中值可能是 128,G 通道中值也可能是 128,结果我们得到了一个 (128, 128, 0) 的暗黄色——原始图像里从未出现过的颜色!这就是伪色(Color Aliasing)。
但在工程实践中,OpenCV 的独立通道策略被广泛使用,原因是:
- 速度极快,可并行处理三个通道;
- 对于自然图像,邻域内颜色通常连续,伪色概率低;
- 椒盐噪声通常是单通道或全通道独立出现,独立处理反而符合噪声模型。
# OpenCV 多通道中值滤波(内部独立通道处理)
dst = cv2.medianBlur(src_color, 5) # src_color 是 BGR 三通道图像
现在我们已经了解了中值滤波的多通道策略,接下来看看另一种更"优雅"的边缘保留滤波——双边滤波。
2.4.2 双边滤波:空间距离与颜色相似度的双重门控
2.4.2.1 空间权重与颜色权重的乘积核定义
我们先放下代码,想象一个画面:你站在一幅油画前,画家用粗笔触画了天空,用细笔触画了树叶。现在你想"平滑"这幅画,但要求天空的色块融合,而树叶的锐利边缘不能变成一滩烂泥。
传统高斯滤波的问题在于"一视同仁":它只问"你离我多远?“,不问"你跟我颜色差多少?”。于是树叶边缘的深绿和浅绿被强制平均,边缘就化了。
双边滤波(Bilateral Filter)的核心洞察来自一个简单问题:“如果两个像素颜色差异很大,即使它们空间上很靠近,我们真的应该把它们混合吗?”
答案当然是不应该。双边滤波把核函数拆成两个因子的乘积:
- 空间权重(Spatial Weight):和高斯滤波一样,问"距离多远?"
- 颜色权重(Range Weight):新增的一维,问"颜色多像?"
形式化定义:对于像素 i,其滤波输出为
q<sub>i</sub> = (1 / W<sub>i</sub>) x Sum<sub>j in Omega</sub> I<sub>j</sub> x G<sub>sigmas</sub>(||x<sub>i</sub> - x<sub>j</sub>||) x G<sub>sigmar</sub>(||I<sub>i</sub> - I<sub>j</sub>||)
其中 Wi 是归一化因子,Gsigma 表示标准高斯函数。
如果画成热力图,核权重长什么样? 想象你在图像的一个边缘像素上放一个高斯圆盘:
啊哈! 颜色权重就像一道"闸门":当邻域像素的颜色与中心像素差异超过某个阈值,颜色因子迅速衰减到接近零,这些像素被有效地"屏蔽"了。于是,边缘一侧的像素只和自己人平均,不会和对面阵营混合。
算法 3:双边滤波(标量图像简化版)
输入:图像 I,空间参数 sigma<sub>s</sub>,颜色参数 sigma<sub>r</sub>
输出:滤波图像 Q
for each pixel i do
numerator <- 0
denominator <- 0
for each pixel j in 空间邻域 Omega(i, 半径 ~ 3sigma<sub>s</sub>) do
w_space <- exp( -||x<sub>i</sub> - x<sub>j</sub>||^2 / (2sigma<sub>s</sub>^2) )
w_range <- exp( -||I<sub>i</sub> - I<sub>j</sub>||^2 / (2sigma<sub>r</sub>^2) )
w <- w_space x w_range
numerator <- numerator + w x I<sub>j</sub>
denominator <- denominator + w
end
Q[i] <- numerator / denominator
end
2.4.2.2 参数 sigmas(空间)/sigmar(颜色)的物理意义与调参
别急,参数调优往往是双边滤波最让人头疼的部分。我们来拆解这两个 sigma 的物理意义。
sigmas(Space Sigma):控制"看多远"。它和高斯模糊的标准差完全一样。sigmas = 5 意味着你考虑大约半径 15 像素的邻域(3sigma 原则)。它只影响模糊的范围,不影响边缘是否被保留。
sigmar(Range Sigma):控制"颜色差异多大算同类"。它定义了一个"颜色容差带"。
锚定已知概念:如果你熟悉 RNN 里的门控机制(如 LSTM 的遗忘门),可以把 sigmar 理解为一个软门控(Soft Gate):颜色差越大,门越关;sigmar 就是这个门的"敏感度旋钮"。
Toy Example:假设图像像素值范围 0-255,边缘两侧分别是 100 和 150。
- 若 sigmar = 10,颜色差 50 对应的高斯权重 ~ exp(-50^2/200) ~ exp(-12.5) ~ 0.000004。边缘完全闭合。
- 若 sigmar = 100,同样的差值权重 ~ exp(-50^2/20000) ~ exp(-0.125) ~ 0.88。边缘几乎开放。
OpenCV 调用:
# 推荐参数:空间 sigma 设为视觉半径,颜色 sigma 设为噪声/纹理波动幅度
dst = cv2.bilateralFilter(src, d=9, sigmaColor=75, sigmaSpace=75)
注意:d 是邻域直径,如果设为 -1,OpenCV 会根据 sigmas 自动计算。sigmar 的选择通常需要观察图像的噪声水平——如果椒盐噪声波动范围约 +/-20,那么 sigmar 设为 30-40 是合理的起点。
2.4.2.3 O(n^2)高复杂度与快速近似算法(双边网格/PCA)综述
在继续之前,我们必须直面双边滤波的阿喀琉斯之踵:计算复杂度。
回顾算法 3,对于每个像素 i,我们都要遍历其邻域内所有像素 j。如果图像有 N 个像素,邻域大小与 sigmas^2 成正比,那么总复杂度是 O(N x sigmas^2)。对于一张 4K 图像和 sigmas = 10,这意味着数十亿次运算。实时应用?基本不可能。
但好消息是,过去二十年研究者们开发了一系列快速近似算法。它们的核心思想各异,但目标一致:把双边滤波从"每个像素遍历邻域"变成"可分离的全局操作"。
1. 双边网格(Bilateral Grid) citeweb_search:1#11web_search:1#17
这是 Durand & Dorsey 提出的经典方法。思路非常巧妙:把图像从 2D 空间域"升维"到 3D 网格——两个空间轴 (x, y) 加一个颜色轴 (I)。在这个 3D 网格里,双边滤波变成了普通的三维高斯卷积!因为卷积是可分离的,而且 3D 网格可以被大幅下采样(按 sigmas 和 sigmar 的尺度),速度提升数个数量级。
复杂度:从 O(N x sigmas^2) 降到 O(N + (S/sigmas) x (R/sigmar)),其中 S 是空间域大小,R 是颜色域范围。
2. PCA 降维 + 常数时间双边滤波 citeweb_search:1#8web_search:1#13
对于彩色图像,颜色维度是 3D(RGB),双边滤波的"范围域"也是 3D,这带来了维度灾难(Curse of Dimensionality)。Ishikawa 等人的洞察是:用 PCA 把 3D 颜色压缩到 1D 主成分,然后在 1D 范围域上做常数时间双边滤波(O(1) per pixel)。
3. 多项式/泰勒展开近似 citeweb_search:1#14
Porikli 等人的方法更数学化:把颜色高斯核 Gsigmar 用泰勒级数展开成多项式。于是双边滤波被拆解为多个空间高斯滤波的线性组合,每个空间高斯都可以用 FFT 或积分图快速计算。
算法 4:快速双边滤波框架(双边网格示意)
输入:图像 I,参数 sigma<sub>s</sub>, sigma<sub>r</sub>
输出:近似双边图像 Q
// 第一步:构建双边网格
grid <- 空 3D 数组,维度 (X/sigma<sub>s</sub>, Y/sigma<sub>s</sub>, L/sigma<sub>r</sub>)
for each pixel (x, y) with intensity I do
gx <- round(x / sigma<sub>s</sub>)
gy <- round(y / sigma<sub>s</sub>)
gi <- round(I / sigma<sub>r</sub>)
grid[gx, gy, gi] <- grid[gx, gy, gi] + (I, 1) // 累积值和权重
end
// 第二步:3D 高斯卷积(可分离、快速)
blurred_grid <- Separable3DGaussianConv(grid, sigma=1.0)
// 第三步:归一化并插值回 2D
for each pixel (x, y) do
在 blurred_grid 中三线性插值得到 (sum_I, sum_W)
Q[x, y] <- sum_I / sum_W
end
这在训练/实际使用中意味着什么? 如果你在做实时视频处理或移动端应用,不要直接用 cv2.bilateralFilter 处理全分辨率 4K 帧。建议先用双边网格或 PCA 近似算法预处理,或者先降采样滤波再上采样。OpenCV 的 cv2.ximgproc 模块(contrib 包)提供了部分快速实现,但生产环境中往往需要自行实现 CUDA 版本的双边网格。
2.4.3 导向滤波:局部线性模型与引导图像的约束力量
2.4.3.1 局部线性模型与引导图像(Guidance)约束
现在我们已经了解了双边滤波通过"颜色门控"保留边缘,接下来看看另一种思路——导向滤波(Guided Filter)。它出自何恺明等人 2010 年的工作,思想极其简洁,但威力巨大。
核心问题:假设你有一张"粗糙"的图像 p(比如粗略估计的透射率图),你想把它打磨得光滑,但又必须服从另一张"引导图" I(比如原始彩色图像)的边缘结构。怎么做?
局部线性模型的直觉:何恺明的洞察是——在图像的一个小窗口 omegak 内,输出 q 和引导图 I 之间应该是线性关系。就像你用一小段直线去拟合曲线上的局部区域。
q<sub>i</sub> = a<sub>k</sub> x I<sub>i</sub> + b<sub>k</sub>, forall i in omega<sub>k</sub>
这里 ak 和 bk 是窗口 omegak 内的常数(局部线性系数)。
别急,这个公式看起来有点吓人,我们拆解一下。目标函数 E 有两部分:
- 数据项 (akIi + bk - pi)^2:要求输出 q 尽量接近输入 p;
- 正则项 epsilon ak^2:防止 ak 太大,避免过拟合噪声。
这其实就是每个窗口内做一个带岭回归(Ridge Regression)的线性拟合。如果你熟悉机器学习里的线性回归,这就是同一个东西——只不过是在每个局部窗口独立求解,然后对所有覆盖像素 i 的窗口结果取平均。
解析解(直接给出,因为推导是标准最小二乘):
a<sub>k</sub> = (mu<sub>k</sub>(p) - mu<sub>k</sub> x p_bar<sub>k</sub>) / (sigma<sub>k</sub>^2 + epsilon)
b<sub>k</sub> = p_bar<sub>k</sub> - a<sub>k</sub> x mu<sub>k</sub>
其中 muk 和 sigmak^2 是引导图 I 在窗口 omegak 内的均值和方差,p_bark 是输入图 p 在该窗口的均值。
啊哈时刻:注意到分母里的 sigmak^2 + epsilon 了吗?
- 如果在平坦区域(天空、墙面),引导图方差 sigmak^2 ~ 0,于是 ak ~ 0,bk ~ p_bark。输出 q ~ 局部均值——平滑操作!
- 如果在边缘区域,引导图方差 sigmak^2 很大,ak ~ 1,bk ~ 0。输出 q ~ I——跟随引导图边缘,保留结构!
epsilon 的物理意义:它是"平坦区判定的阈值"。sigmak^2 < epsilon 的区域被视为平坦,会被平滑;sigmak^2 > epsilon 的区域被视为有结构,会保留。epsilon 越大,越多的区域被视为"平坦",平滑力度越强。
算法 5:导向滤波(单通道)
输入:引导图 I,输入图 p,窗口半径 r,正则化参数 epsilon
输出:滤波图 q
// 第一步:计算局部统计量(可用积分图加速)
mean_I <- BoxFilter(I, r) // 每个窗口的 mu<sub>k</sub>
mean_p <- BoxFilter(p, r) // 每个窗口的 p_bar<sub>k</sub>
mean_Ip <- BoxFilter(I.*p, r) // E[I dot p]
var_I <- mean_Ip - mean_I.*mean_p // 协方差
var_I <- BoxFilter(I.*I, r) - mean_I.*mean_I // sigma<sub>k</sub>^2
// 第二步:计算线性系数
cov_Ip <- mean_Ip - mean_I .* mean_p
a <- cov_Ip ./ (var_I + epsilon)
b <- mean_p - a .* mean_I
// 第三步:对所有窗口平均(覆盖像素 i 的所有窗口 k)
mean_a <- BoxFilter(a, r)
mean_b <- BoxFilter(b, r)
q <- mean_a .* I + mean_b
关键优势:所有 BoxFilter(盒式滤波)都可以用**积分图(Integral Image)**在 O(1) 时间内完成,与窗口半径无关。因此导向滤波的总体复杂度是 O(N),与图像尺寸成线性关系,比双边滤波快得多。
2.4.3.2 暗通道先验与去雾应用实现
现在我们已经了解了导向滤波的局部线性模型,接下来看一个让它名声大噪的应用——单图像去雾(Dehazing)。这是何恺明 2009 年 Dark Channel Prior 论文中的经典 pipeline。citeweb_search:1#0web_search:1#12
大气散射模型告诉我们,雾天图像的形成公式是:
I(x) = J(x) x t(x) + A x (1 - t(x))
其中 J 是清晰图像,t 是透射率(0~1,越近越接近 1),A 是大气光。
暗通道先验(Dark Channel Prior)的直觉:在无雾的自然图像中,大多数非天空局部区域里,至少有一个颜色通道在某些像素上强度很低(接近 0)。于是我们可以粗略估计透射率:
t_tilde(x) = 1 - omega x min<sub>c in {R,G,B}</sub> ( min<sub>y in Omega(x)</sub> (I<sup>c</sup>(y) / A<sup>c</sup>) )
但这个 t_tilde 是块状、粗糙的——因为我们在每个局部 patch 上取了最小值。直接用它恢复图像,边缘会出现严重的 halo 伪影。
这里就轮到导向滤波登场了。我们把原始雾图 I 的灰度图作为引导图,把粗糙的透射率图 t_tilde 作为输入图 p,运行导向滤波,得到一个边缘感知、精细平滑的透射率图 t_prime。
啊哈! 导向滤波在这里扮演了"结构-aware 的上采样器"角色。粗透射率 t_tilde 像是一张低分辨率、块状的马赛克图,而引导图 I 告诉它:“真实的边缘在这里,请把你的平滑边界对齐到我的边缘上。”
import cv2
import numpy as np
def guided_filter(I, p, radius=60, eps=1e-3):
# 简易导向滤波实现(单通道引导图)
mean_I = cv2.boxFilter(I, cv2.CV_64F, (radius, radius))
mean_p = cv2.boxFilter(p, cv2.CV_64F, (radius, radius))
mean_Ip = cv2.boxFilter(I*p, cv2.CV_64F, (radius, radius))
cov_Ip = mean_Ip - mean_I * mean_p
mean_II = cv2.boxFilter(I*I, cv2.CV_64F, (radius, radius))
var_I = mean_II - mean_I * mean_I
a = cov_Ip / (var_I + eps)
b = mean_p - a * mean_I
mean_a = cv2.boxFilter(a, cv2.CV_64F, (radius, radius))
mean_b = cv2.boxFilter(b, cv2.CV_64F, (radius, radius))
return mean_a * I + mean_b
# 使用:t_refined = guided_filter(gray_image, t_coarse, radius=80, eps=1e-3)
注意参数选择:去雾时导向滤波的半径 r 通常设为暗通道 patch 尺寸的 4~5 倍(比如 patch=15x15,则 r=60~80)。这是因为粗透射率的"块效应"尺度与 patch 尺寸相当,滤波半径必须足够大才能抹平这些块状边界。citeweb_search:1#15
2.4.3.3 与双边滤波的保边性能、速度、梯度伪影对比
在继续之前,你可能在问:“导向滤波和双边滤波都是保边滤波,我该用哪个?”
这是一个极好的问题。让我们从三个维度做对比:
梯度反转(Gradient Reversal)是什么? 这是双边滤波的一个经典问题。想象一条从黑到白的渐变带,中间某处有一个微弱的纹理起伏。双边滤波的颜色权重会"误判"这个纹理为边缘,导致滤波结果出现伪边缘——原本平滑的渐变被扭曲出一个不存在的台阶。导向滤波因为本质是局部线性变换,输出始终是引导图的"仿射变形",不会出现这种奇怪的反转。
锚定已知概念:如果你熟悉深度学习里的 Skip Connection,导向滤波和引导图的关系有点像 ResNet 的残差学习——输出被约束在引导图的"线性邻域"内,不会偏离太远。而双边滤波更像一个注意力机制,每个像素独立决定"看哪里",缺乏全局一致性约束。
实际使用建议:
- 需要实时视频处理(>30fps):选导向滤波;
- 需要强保边且不在乎速度(如艺术风格化):选双边滤波;
- 需要去雾、抠图 matte 精修:导向滤波是行业标准;
- 图像有大量弱纹理渐变(如皮肤、天空):避免双边滤波,用导向滤波。
2.4.4 非局部均值去噪:在图像里找"失散多年的兄弟"
2.4.4.1 块相似性度量(SSD)与加权平均重建
第一步,让我们跳出"局部邻域"的思维定式。之前所有滤波器(均值、高斯、中值、双边、导向)都有一个共同假设:相似的像素在空间上靠近。但如果一张图里有一大片重复的纹理——比如砖墙、草地、窗户格栅——远处的一块砖和眼前这块砖难道不是"长得几乎一样"吗?
非局部均值(Non-Local Means, NLM)的核心洞察来自一个反问:“既然自然图像充满自相似性,我们为什么要局限在 3x3 或 5x5 的小窗口里找平均?为什么不搜索整幅图像,让所有相似的像素都参与投票?”
Toy Example:想象一张带有噪声的棋盘格图像。传统高斯滤波会模糊格子边缘;中值滤波可能保留边缘但无法利用远处相同格子的信息;而 NLM 会说:“看,右下角那个格子和左上角这个格子长得一模一样,它们的像素值应该互相借鉴!”
形式化定义:对于像素 i,以其为中心的 patch Ni(比如 7x7)与搜索窗口内所有像素 j 的 patch Nj 比较,权重由归一化 SSD(Sum of Squared Differences)决定:
w(i, j) = exp( - ||N<sub>i</sub> - N<sub>j</sub>||<sup>2</sup><sub>2</sub> / h^2 )
其中 h 是滤波参数,控制衰减速率(类似双边滤波的 sigmar,但作用于 patch 距离而非单像素差)。
算法 6:非局部均值去噪(像素级简化版)
输入:噪声图像 p,patch 半径 patch_r,搜索半径 search_r,参数 h
输出:去噪图像 q
for each pixel i do
numerator <- 0
denominator <- 0
N_i <- ExtractPatch(p, i, patch_r)
for each pixel j in SearchWindow(i, search_r) do
N_j <- ExtractPatch(p, j, patch_r)
d <- ||N_i - N_j||^2 / (2 dot patch_r+1)^2 // 归一化 SSD
w <- exp(-d / h^2)
numerator <- numerator + w x p[j]
denominator <- denominator + w
end
q[i] <- numerator / denominator
end
啊哈! 这个公式和双边滤波惊人地相似,只不过双边比较的是单像素颜色差,而 NLM 比较的是整个 patch 的纹理模式。双边滤波问"你和我颜色像吗?“,NLM 问"你和我周围的纹理像吗?”
2.4.4.2 搜索窗口与 patch 尺寸的匹配策略
现在我们已经了解了 NLM 的基本机制,但还有两个关键旋钮:搜索窗口多大?patch 多大? 这两个参数的组合直接决定去噪质量和速度。
Patch 尺寸(P x P):决定"自相似性"的判别粒度。
搜索窗口(S x S):决定"非局部"的范围。
- 搜索窗口越大,能找到的相似 patch 越多,去噪越彻底;
- 但复杂度是 O(S^2 x P^2) 每像素,搜索窗口扩大 2 倍,时间膨胀 4 倍。
匹配策略(来自 Buades 等原始论文及后续研究)citeweb_search:1#10web_search:1#16:
- Patch 尺寸应略大于噪声相关尺度。对于标准差 sigma=25 的高斯噪声,7x7 patch 能包含约 49 个采样点,统计上足够稳定;
- 搜索窗口通常取 21x21 到 31x31。再大收益递减,因为太远处的 patch 与当前像素通常不相关;
- 参数 h 与噪声标准差 sigma 成正比。经验公式:h ~ 0.5~1.2 x sigma。h 太小,权重过于尖锐,噪声保留;h 太大,所有 patch 权重趋同,退化为普通平均。
2.4.4.3 fastNlMeansDenoising 的多通道实现与参数模板
在继续之前,好消息是 OpenCV 已经为我们实现了经过优化的 NLM,不需要手写四重循环。
OpenCV 提供三个主要接口:
# 1. 灰度图像快速 NLM
dst = cv2.fastNlMeansDenoising(src, None, h=10,
templateWindowSize=7,
searchWindowSize=21)
# 2. 彩色图像(独立通道处理后再聚合)
dst = cv2.fastNlMeansDenoisingColored(src, None,
h=10, hColor=10,
templateWindowSize=7,
searchWindowSize=21)
# 3. 多帧视频去噪(利用时域冗余,效果最佳)
dst = cv2.fastNlMeansDenoisingMulti(imgs, imgToDenoiseIndex,
temporalWindowSize, ...)
fastNlMeansDenoisingColored 的内部逻辑很有趣:它并不是直接在 3D RGB 空间做 NLM(那太慢了),而是把图像转换到 CIELAB 空间,在 L 通道(亮度)用参数 h 做 NLM,在 AB 通道(色度)用参数 hColor 做 NLM,最后转回 RGB。citeweb_search:1#9
为什么色度通道可以单独处理? 因为人眼对色度噪声不如亮度噪声敏感,hColor 通常可以设得比 h 更激进(或更小,取决于需求)。这类似于 JPEG 压缩对色度下采样的思路——利用人眼的感知特性节省计算。
参数模板速查表:
| 噪声水平 | h (亮度) | hColor | Patch | Search | 适用场景 |
|---|---|---|---|---|---|
| 轻度 (sigma~10) | 3-5 | 3-5 | 7 | 21 | 轻微压缩伪影 |
| 中度 (sigma~25) | 10-15 | 10 | 7 | 21 | 普通相机高 ISO |
| 重度 (sigma~50) | 20-30 | 15-20 | 9-11 | 35 | 极端暗光环境 |
结构化伪代码——OpenCV 风格的多通道 NLM:
算法 7:fastNlMeansDenoisingColored 逻辑拆解
输入:彩色噪声图像 I<sub>RGB</sub>,参数 h, hColor, patch, search
输出:去噪图像 O<sub>RGB</sub>
// 第一步:色彩空间转换
I<sub>LAB</sub> <- RGBtoCIELAB(I<sub>RGB</sub>)
分离为 I<sub>L</sub>, I<sub>A</sub>, I<sub>B</sub>
// 第二步:亮度通道 NLM(主要计算在这里)
O<sub>L</sub> <- fastNlMeansDenoising(I<sub>L</sub>, h, patch, search)
// 第三步:色度通道 NLM(通常更快,可降采样)
O<sub>A</sub> <- fastNlMeansDenoising(I<sub>A</sub>, hColor, patch, search)
O<sub>B</sub> <- fastNlMeansDenoising(I<sub>B</sub>, hColor, patch, search)
// 第四步:合并并转回
O<sub>LAB</sub> <- Merge(O<sub>L</sub>, O<sub>A</sub>, O<sub>B</sub>)
O<sub>RGB</sub> <- CIELABtoRGB(O<sub>LAB</sub>)
这在实际使用中意味着什么? NLM 是目前单图像去噪的"黄金标准"之一(BM3D 在此基础上增加了变换域协同滤波,效果更好但速度更慢)。在摄影后期、医学影像预处理、卫星图像降噪中,fastNlMeansDenoising 是首选工具。但请记住:它仍然很慢——一张 1080p 图像可能需要数秒到数十秒。对于视频实时处理,你需要转向深度学习方案(如 CBDNet、RIDNet)或至少使用 GPU 加速的 NLM 实现。
闭环:非线性滤波家族的选择地图
现在我们已经走完了这段旅程,从排序统计的中值滤波,到双重门控的双边滤波,再到局部线性回归的导向滤波,最后到全局自相似的 NLM。它们像是一个家族的不同成员,各有脾气,各守一方。
选择地图:
延伸阅读推荐:
- Buades et al. “A non-local algorithm for image denoising” (CVPR 2005) —— NLM 的奠基之作;
- He et al. “Guided Image Filtering” (ECCV 2010) —— 导向滤波原文,含去雾应用;
- Paris & Durand “A Fast Approximation of the Bilateral Filter using a Signal Processing Approach” (ECCV 2006) —— 双边网格快速算法;
- Tomasi & Manduchi “Bilateral Filtering for Gray and Color Images” (ICCV 1998) —— 双边滤波开山论文。
写在最后:非线性滤波的魅力在于它们尊重图像的结构。线性滤波把图像当作一维信号处理;非线性滤波则开始"理解"图像的空间布局和语义边界。这种从"盲目平均"到"选择性融合"的跃迁,正是计算机视觉从信号处理走向智能感知的缩影。我们在下一节将把这些滤波器作为基础组件,构建更复杂的特征提取器——敬请期待。
456



被折叠的 条评论
为什么被折叠?



