【OpenCV】(六)滤波器_opencv 卷积-优快云博客

系列内容:OpenCV概述与环境配置,OpenCV基础知识和绘制图形,图像的算数与位运算,图像视频的加载和显示,图像基本变换,滤波器,形态学,图像轮廓,图像直方图,车辆统计项目,特征检测和匹配,图像查找和拼接,虚拟计算器项目,信用卡识别项目,图像的分割与修复,人脸检测与车牌识别,目标追踪,答题卡识别判卷与文档ocr扫描识别,光流估计

（一）卷积

1.图像卷积

图像卷积就是卷积核在图像上按行滑动遍历像素时不断相乘求和的过程.

如图6.1所示:

2.步长

步长就是卷积核在图像上移动的步幅,上面的例子中卷积核每次移动一个像素步长的结果,如果步长为2,结果如何?

为了充分扫描图片,步长一般设为1

如图6.2所示:

3.padding

上面的例子中我们发现,卷积之后图片的长宽会变小,如果要保持图片大小不变,我们需要在图片周围填充0,padding指的值就是填充的0的圈数.如图6.3所示:

我们可以通过公式计算出所需要填充0的圈数.

输入体积大小$H_{1}*W_{1}*D_{1}$

四个超参数:

(1)Filter数量K;

(2)Filter大小F;

(3)步长S;

(4)零填充大小P;

输出体积大小为$H_{2}*W_{2}*D_{2}$

$H_{2}=\dfrac{(H_{1}-F+2P)}{S}+1$

$W_{2}=\dfrac{(W_{1}-F+2P)}{S}+1$

$D_{2}=k$

如果要保持卷积之后图片大小不变,可以得出等式$(N+2P-F+1)=N$,从而可以推导出$P=\frac{F-1}{2}$

卷积核的大小：

图片卷积中,卷积核一般为奇数,比如$3*3,5*5,7*7$,原因:

1.根据上面padding的计算公式,如果要保持图片大小不变,采用偶数卷积核的话,比如$4*4$,将会出现填充1.5圈0的情况;
2.奇数维度的过滤器有中心,便于指出过滤器的位置,即OpenCV卷积中的锚点

4.卷积案例

filter2D(src,ddepth,kernel[,dst[,anchor[,delta[,borderType]]]])

其中：

ddepth是卷积之后图片的位深,即卷积之后图片的数据类型,一般设为-1,表示和原图类型一致;
kernel是卷积核大小,用元组或者ndarray表示,要求数据类型必须是float型;
anchor锚点,即卷积核的中心点,是可选参数,默认是(-1,-1)
delta可选参数,表示卷积后额外加的一个值,相当于线性方程中的偏差,默认是0;
borderType边界类型,一般不设.

5.示例代码

(1)正常操作（奇数卷积核）

#OpenCV图像卷积操作
import cv2
import numpy as np

#导入图片

img=cv2.imread('dog1.jpg')

#相当于原始图片中每个点都被平均了一下,所以图片变模糊了
kernel=np.ones((5,5),np.float32)/25
#ddepth=-1,表示图片的数据类型不变
dst=cv2.filter2D(img,-1,kernel)

#很明显是卷积之后的图片变模糊了
cv2.imshow('img',np.hstack((img,dst)))

cv2.waitKey(0)
cv2.destroyAllWindows()

正常结果如图6.4所示:

(2)尝试其他卷积核:

#OpenCV图像卷积操作
import cv2
import numpy as np

#导入图片

img=cv2.imread('dog1.jpg')

# #相当于原始图片中每个点都被平均了一下,所以图片变模糊了
# kernel=np.ones((5,5),np.float32)/25

#尝试其他卷积核

#突出轮廓
kernel=np.array([[-1,-1,-1],[-1,8,-1],[-1,-1,-1]])

# #浮雕效果
# kernel=np.array([[-2,1,0],[-1,1,1],[0,1,2]])

# #锐化
# kernel=np.array([[0,-1,0],[-1,5,-1],[0,-1,0]])

#ddepth=-1,表示图片的数据类型不变
dst=cv2.filter2D(img,-1,kernel)

#很明显是卷积之后的图片变模糊了
cv2.imshow('img',np.hstack((img,dst)))

cv2.waitKey(0)
cv2.destroyAllWindows()

非正常结果如图6.5图6.6图6.7所示:

（二）方盒滤波与均值滤波

1.方盒滤波等价于均值滤波

boxFilter(src,ddepth,ksize[,dst[,anchor[,normalize[,borderType]]]])方盒滤波

normalize=True时,$a=1/(W*H)$滤波器的宽度
normalize=False,a=1

一般情况我们取True,这时,方盒滤波等价于均值滤波

blur(src,ksize[,dst[,anchor[,borderType]]])均值滤波(模糊化)

卷积核表示:

$K = a\left[ \begin{array} { c c c c c } 1 & 1 & 1 & \cdots & 1 \\ 1 & 1 & 1 & \cdots & 1 \\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \\ 1 & 1 & 1 & \cdots & 1 \end{array} \right]$

方盒滤波等价于均值滤波。

2.方盒滤波实例

#方盒滤波
import cv2
import numpy as np

#导入图片
img=cv2.imread('dog1.jpg')

#不用手动创建卷积核,只需要告诉方盒滤波,卷积核的大小是多少

dst=cv2.boxFilter(img,-1,(5,5),normalize=True)

cv2.imshow('img',np.hstack((img,dst)))

cv2.waitKey(0)
cv2.destroyAllWindows()

方盒滤波如图6.8所示:

3.均值滤波实例

#均值滤波
import cv2
import numpy as np

#导入图片
img=cv2.imread('dog1.jpg')

dst=cv2.blur(img,(5,5))

cv2.imshow('img',np.hstack((img,dst)))

cv2.waitKey(0)
cv2.destroyAllWindows()

均值滤波,如图6.9所示:

（三）高斯滤波

要理解高斯滤波,前置知识是高斯函数,高斯函数是符合高斯分布(正态分布)的概率密度函数,其图像如如图6.10所示:

1.一维正态分布(高斯分布)

若连续型随机变量X的概率密度为

$f(x)=\frac{1}{\sqrt{2\pi\sigma^{2}}}e^{-\frac{(x - \mu)^{2}}{2\sigma^{2}}}$

其中$\mu$,$\sigma$($\sigma>0$)为常数,则称X服从参数为$\mu$,$\sigma$的正太分布或高斯分布(Gauss),记为

$X \backsim N(\mu,\sigma^{2})$

如图6.11（1）所示:

2.二维高斯分布

二维随机变量(X,Y)的概率密度为:

$f(x,y) = \frac{1}{2\pi \sigma_X \sigma_Y \sqrt{1-\rho^2}} \exp\left( -\frac{1}{2(1-\rho^2)} \left[ \frac{(x-\mu_X)^2}{\sigma_X^2} + \frac{(y-\mu_Y)^2}{\sigma_Y^2} - \frac{2\rho(x-\mu_X)(y-\mu_Y)}{\sigma_X \sigma_Y} \right] \right)$

其中$\mu_x,\mu_y,\sigma_x,\sigma_y,\rho$都是常数,且$\sigma_x >0,\sigma_y>0,-1<\rho<1$,我们称(X,Y)为服从参数为$\mu_x,\mu_y,\sigma_x,\sigma_y,\rho$的二维正态分布,如图6.11（2）所示

3.高斯滤波

高斯滤波就是使用符合高斯分布的卷积核对图片进行1卷积操作,所以高斯滤波的重点就是如何计算符合高斯分布的卷积核,即高斯模板.

假定中心点的坐标为(0,0),那么取距离它最近的8个点坐标,为了计算,假定$\sigma=1.5$,则模糊半径为1的高斯模板计算如图6.12所示

我们可以观察到越靠近中心,数值越大,越边缘的数值越小,符合高斯分布.

通过高斯分布计算出来的是概论密度函数,所以我们还要确保这几个点加起来的和为1,这九个点的权重总和等于0.4787147,因此上面九个值还要分别除以0.4787147,得到最终的高斯模板

注意,有些整数高斯模板是在归一化后的高斯模板的基础上每个数除以左上角的值,然后取整.如图6.13所示

有了卷积核,计算高斯滤波就简单了,假设有9个像素点,灰度值(0-255)的高斯滤波计算如如图6.14所示

将这九个值加起来,就是中心点的高斯滤波的值,对于所有点重复这个过程,就得到了高斯模糊后的图像.

4.高斯模糊函数

GaussianBlur(src,ksize,sigmaX[,dst[,sigmaY[,borderType]]])

kernel,高斯核的大小
sigmaX,x轴的标准差
sigmaY,Y轴的标准差,默认为0,这时sigmaY=sigmaX

如果没有指定的sigma的值,会分别从ksize的宽度和高度中计算sigma

选择不同的sigma值会对应不同的平滑效果,sigma越大,平滑效果越强,如图6.15所示

没有指定sigma时,ksize越大,平滑效果越明显,如图6.16所示

5.示例代码

#高斯函数
import cv2
import numpy as np

#导入图片
img=cv2.imread('lena.jpg')

dst=cv2.GaussianBlur(img,(5,5),sigmaX=1)

cv2.imshow('img',np.hstack((img,dst)))

cv2.waitKey(0)
cv2.destroyAllWindows()

处理结果对比图,lena处理结果对比图(指定sigmaX)如图6.17所示

不指定sigmaX时,

#高斯函数
import cv2
import numpy as np

#导入图片
img=cv2.imread('lena.jpg')

# dst=cv2.GaussianBlur(img,(5,5),sigmaX=1)
#不指定sigmaX会使用ksize计算sigma
dst=cv2.GaussianBlur(img,(5,5),sigmaX=0)
cv2.imshow('img',np.hstack((img,dst)))

cv2.waitKey(0)
cv2.destroyAllWindows()

lena处理结果对比图(不指定sigmaX)，如图6.18所示

（四）中值滤波

中值滤波原理非常简单,假设有一个数组(1556789),取其中间值(即中位数)作为卷积后的结果值即可,中值滤波对胡椒噪音(椒盐噪音)效果明显。

#中值滤波
import cv2
import numpy as np

#导入图片
img=cv2.imread('lena.jpg')

#注意这里ksize就是一个常数
dst=cv2.medianBlur(img,5)
cv2.imshow('img',np.hstack((img,dst)))

cv2.waitKey(0)
cv2.destroyAllWindows()

中值滤波处理ikun,效果好,如图6.19所示:

高斯滤波处理ikun,效果不好,如图6.20所示:

#中值滤波
import cv2
import numpy as np

#导入图片
img=cv2.imread('ikun.jpg')

# #注意这里ksize就是一个常数
# dst=cv2.medianBlur(img,5)

#椒盐噪声使用高斯滤波,效果不好,
dst=cv2.GaussianBlur(img,(5,5),sigmaX=1)

cv2.imshow('img',np.hstack((img,dst)))

cv2.waitKey(0)
cv2.destroyAllWindows()

（五）双边滤波

双边滤波对于图像的边缘信息能够更好地保存,其原理为一个与空间距离相关的高斯函数与一个与灰度相关的高斯函数相乘.

1.图像距离

空间距离:指的是当前点与中心点的欧氏距离.空间域高斯函数其数学形式为:

$d=exp^{-\dfrac{(x_{i}-x_{c})^{2}+(y_{i}-y_{c})^{2}}{2 \sigma^{2)}}}$

其中,$(x_{i},y_{i})$为当前点位置,$(x_{c},y_{c})$为中心点的位置,$\sigma$为空间域标准差.

灰度距离:指的是当前点灰度值与中心点灰度差的绝对值.值域高斯函数的数学表达式为:

$d=exp^{-\dfrac{(gray(x_{i},y_{i})-gray(x_{c},y_{c}))^{2}}{2 \sigma^{2}}}$

其中$gray(x_{i},y_{i})$为当前点灰度值,$gray(x_{c},y_{c})$为中心点灰度值,$\sigma$为值域标准差

2.双边滤波与高斯滤波的关系

双边滤波本质上是高斯滤波,双边滤波和高斯滤波不同的就是:双边滤波既利用了位置信息又利用了像素信息来定义滤波窗口的权重。而高斯滤波只用了位置信息。

对于高斯滤波，仅用空间距离的权值系数核与图像卷积后，确定中心点的灰度值。即认为离中心点越近的点，其权重系数越大。

双边滤波中加入了对灰度信息的权重，即在邻域内，灰度值越接近中心点灰度值的点的权重更大，灰度值相差大的点权重越小。此权重大小，则由值域高斯函数确定。

两者权重系数相乘，得到最终的卷积模板。由于双边滤波需要每个中心点邻域的灰度信息来确定其系数，所以其速度与一般的滤波慢很多，而且计算量增长速度为核大小的平方。

高斯滤波与双边滤波对比,如图6.21所示:

双边滤波可以保留边缘,同时可以对边缘内的区域进行平滑处理

双边滤波的作用就相当于做了美颜.

3.双边滤波

bilateralFilter(src,d,sigmaColor,sigmaSpace[,dst[,borderType]])

sigmaColor计算像素信息使用的sigma
sigmaSpace计算空间信息使用的sigma

4.示例

双边滤波对椒盐噪声处理

#双边滤波
#中值滤波
import cv2
import numpy as np

#导入图片
img=cv2.imread('ikun.jpg')
#双边滤波对椒盐噪声几乎没有效果

dst=cv2.bilateralFilter(img,7,50,50)

cv2.imshow('img',np.hstack((img,dst)))

cv2.waitKey(0)
cv2.destroyAllWindows()

双边滤波对椒盐噪声处理,如图6.22所示:

美颜效果

#双边滤波
#中值滤波
import cv2
import numpy as np

#导入图片
img=cv2.imread('face1.jpg')

dst=cv2.bilateralFilter(img,7,50,50)

cv2.imshow('img',np.hstack((img,dst)))

cv2.waitKey(0)
cv2.destroyAllWindows()

美颜效果,如图6.23所示:

（六）sobel算子

1.原理

边缘是像素值发生跃迁的位置，是图像的显著特征之一，在图像特征提取，对象检测，模式识别等方面都有重要的作用。

人眼如何识别图像边缘？

比如有一幅图,图里面有一条线,左边很亮,右边很暗,那人眼就很容易识别这条线作为边缘.也就是像素的灰度值快速变化的地方.

sobel算子对图像求一阶导数。一阶导数越大，说明像素在该方向的变化越大，边缘信号越强。

因为图像的灰度值都是离散的数字, sobel算子采用离散差分算子计算图像像素点亮度值的近似梯度.

图像是二维的,即沿着宽度/高度两个方向.

我们使用两个卷积核对原图像进行处理:

水平方向

$G_x = \begin{bmatrix} -1 & 0 & +1 \\ -2 & 0 & +2 \\ -1 & 0 & +1 \end{bmatrix} * I$

垂直方向

$G_y = \begin{bmatrix} -1 & -2 & -1 \\ 0 & 0 & 0 \\ +1 & +2 & +1 \end{bmatrix} * I$

这样的话,我们就得到了两个新的矩阵,分别反映了每一点像素在水平方向上的亮度变化情况和在垂直方向上的亮度变化情况.

综合考虑这两个方向的变化,我们使用以下公式反映某个像素的梯度变化情况:

$G=\sqrt{G^{2}_{x}+G^{2}_{y}}$

有时为了简单起见,也直接使用绝对值相加来代替$G=|G_{x}|+|G_{y}|$

2.示例

用方格为例,如图6.24所示:

#sobel算子
import cv2
import numpy as np

#导入图片
img=cv2.imread('table.jpg')
#x轴方向获取垂直边缘
dx=cv2.Sobel(img,cv2.CV_64F,1,0,ksize=1)
#y轴方向获取水平边缘
dy=cv2.Sobel(img,cv2.CV_64F,0,1,ksize=1)

#可利用numpy的加法,直接整合两张图片
#dst=dx+dy
#也可利用opencv的加法
dst=cv2.add(dx,dy)
cv2.imshow('dx',np.hstack((dx,dy,dst)))

cv2.waitKey(0)
cv2.destroyAllWindows()

以ikun为例,如图6.25所示:

（七）scharr算子

1.原理

Scharr(src, ddepth, dx, dy[, dst[, scale[, delta[, borderType]]]])

当内核大小为 3 时,以上Sobel内核可能产生比较明显的误差(毕竟,Sobel算子只是求了导数的近似值)。

为解决这一问题,OpenCV提供了 Scharr 函数,但该函数仅作用于大小为3的内核。该函数的运算与Sobel函数一样快,但结果却更加精确。

2.Scharr和Sobel对比

Scharr算子和Sobel很类似,只不过使用不同的kernel值,放大了像素变换的情况:

$G_x = \begin{bmatrix} -3 & 0 & +3 \\ -10 & 0 & +10 \\ -3 & 0 & +3 \end{bmatrix}$

$G_y = \begin{bmatrix} -3 & -10 & -3 \\ 0 & 0 & 0 \\ +3 & +10 & +3 \end{bmatrix}$

说明:

Scharr算子只支持3 * 3的kernel所以没有kernel参数了.
Scharr算子只能求x方向或y方向的边缘.
Sobel算子的ksize设为-1就是Scharr算子.
Scharr擅长寻找细小的边缘,一般用的较少.

3.示例

以lena为例,对lena进行scharr算子计算

#scharr算子
import cv2
import numpy as np

#导入图片
img=cv2.imread('lena.jpg')

#x轴方向获取垂直边缘
dx=cv2.Scharr(img,cv2.CV_64F,dx=1,dy=0)
#y轴方向获取水平边缘
dy=cv2.Scharr(img,cv2.CV_64F,dx=0,dy=1)

dst=cv2.addWeighted(dx,0.5,dy,0.5,gamma=0)

cv2.imshow('img',np.hstack((dx,dy,dst)))

cv2.waitKey(0)
cv2.destroyAllWindows()

对lena进行scharr算子计算,如图6.26所示:

（八）拉普拉斯算子

1.原理

sobel算子是模拟一阶求导,导数越大的地方说明变换越剧烈,越有可能是边缘.

如图6.27所示:

那如果继续对$f^{'}(t)$求导呢,如图6.28所示:

可以发现"边缘处"的二阶导数等于0,我们可以利用这一特性去寻找图像的边缘。注意有一个问题,二阶导求导为0的位置也可能是无意义的位置.

以 $ x $ 方向求解为例:

一阶差分: $ f'(x)=f(x)-f(x - 1) $

二阶差分: $ f''(x)=f'(x + 1)-f'(x)=(f(x + 1)-f(x))-(f(x)-f(x - 1)) $

化简后: $ f''(x)=f(x - 1)-2f(x)+f(x + 1) $

同理可得: $ f''(y)=f(y - 1)-2f(y)+f(y + 1) $

把 $ x,y $ 方向的梯度叠加在一起.

$ f''(x,y)=f_{x}'(x,y)+f_{y}'(x,y) $

$ f''(x,y)=f(x - 1,y)-2f(x,y)+f(x + 1,y)+f(x,y - 1)-2f(x,y)+f(x,y + 1) $

$ f''(x,y)=f(x - 1,y)+f(x + 1,y)+f(x,y - 1)+f(x,y + 1)-4f(x,y) $

这个等式可以用矩阵写成:

$f''(x,y)=\begin{bmatrix} 0 & 1 & 0 \\ 1 & -4 & 1 \\ 0 & 1 & 0 \end{bmatrix} \odot \begin{bmatrix} f(x - 1,y - 1) & f(x,y - 1) & f(x + 1,y - 1) \\ f(x - 1,y) & f(x,y) & f(x + 1,y) \\ f(x - 1,y + 1) & f(x,y + 1) & f(x + 1,y + 1) \end{bmatrix}$

这样就得到了拉普拉斯算子的卷积核即卷积模板

2.拉普拉斯算子的卷积核（卷积模板）

Laplacian(src, ddepth[, dst[, ksize[, scale[, delta[, borderType]]]]])

可以同时求两个方向的边缘

对图像敏感,一般需要先进行去噪再调用拉普拉斯

3.示例

#拉普拉斯
import cv2
import numpy as np

#导入图片
img=cv2.imread('table.jpg')
dst=cv2.Laplacian(img,-1,ksize=3)

cv2.imshow('img',np.hstack((img,dst)))

cv2.waitKey(0)
cv2.destroyAllWindows()

拉普拉斯算子示例,如图6.29所示:

（九）Canny边缘检测算法

1.原理

Canny边缘检测算法是 John F. Canny 于 1986 年开发出来的一个多级边缘检测算法，也被很多人认为是边缘检测的最优算法，最优边缘检测的三个主要评价标准是：

低错误率：标识出尽可能多的实际边缘，同时尽可能的减少噪声产生的误报。
准确性：标识出的边缘要与图像中的实际边缘尽可能接近。
最小响应：图像中的边缘只能标识一次。

2.Canny边缘检测的一般步骤

（1）.去噪：边缘检测算法容易受到噪声影响，在进行边缘检测前通常需要先进行去噪，一般用高斯滤波去除噪声。

（2）.计算梯度：对平滑后的图像采用sobel算子计算梯度和方向。

$G = \sqrt{G_{x}^{2} + G_{y}^{2}}$ 为了方便一般可以改用绝对值
$\theta = \arctan\left(\frac{G_{y}}{G_{x}}\right)$
梯度的方向被归为四类：垂直，水平和两个对角线。
计算出来的梯度和方向大概如下图6.30所示:

（3）.非极大值抑制

在获取了梯度和方向后, 遍历图像, 去除所有不是边界的点.
实现方法: 逐个遍历像素点, 判断当前像素点是否是周围像素点中具有相同方向梯度的最大值.
下图中, 点A,B,C具有相同的方向, 梯度方向垂直于边缘如下图6.31所示.
判断点A是否为A,B,C中的局部最大值, 如果是, 保留该点;否则,它被抑制(归零)
更形象的例子如下图6.32所示
滞后阈值,如下图6.33所示

（4）.Canny(img,minVal,maxVal,$\dots$)

3.示例

#Canny
import cv2
import numpy as np

#导入图片
img=cv2.imread('lena1.png')
lena1=cv2.Canny(img,100,200)
lena2=cv2.Canny(img,64,120)

cv2.imshow('lena',np.hstack((lena1,lena2)))

cv2.waitKey(0)
cv2.destroyAllWindows()

码运行结果如下图6.34所示: