超级会员免费看
图像信号提取与视觉注意力计算模型的研究与应用
在图像领域，信号提取和视觉注意力模型是两个重要的研究方向。信号提取有助于去除图像噪声并恢复图像细节，而视觉注意力模型则能帮助计算机模拟人类视觉系统，快速定位图像中的显著区域。下面将详细介绍这两个方面的研究内容。
一、图像信号提取方法
在图像去噪过程中，信号提取是关键步骤。研究人员提出了一种从残差图像中提取信号的有效方法，并与其他滤波器进行了性能比较。
-
信号提取过程
- 首先，对含噪图像应用非局部均值（NLM）滤波器，得到去噪后的图像和残差图像。
- 然后，分别使用NLM滤波器、高斯滤波器、各向异性扩散（AD）滤波器和所提出的方法对残差图像进行滤波。
- NLM滤波器的参数设置为：t = 5，f = 2，h = 1.2σ；高斯滤波器的高斯核标准差为2；AD滤波器的参数为：delta = 1/8，kappa = 0.25σ，迭代次数为60；所提出方法中的高斯滤波器采用3×3核，标准差为2。
-
实验结果
- 实验结果表明，所提出的方法在从残差图像中提取更多信息方面优于其他滤波器。
-
通过计算均方误差（MSE）对不同滤波器的性能进行定量比较，MSE的计算公式为：
[MSE = \frac{1}{n}\sum_{i = 1}^{n}(I(i) - Q(i))^2]
其中，I表示真实图像，Q表示最终去噪后的图像。
-
补偿步骤
- 将提取的信号添加回去噪后的图像，以补偿去噪过程中造成的细节损失。
-
不同噪声水平下的MSE比较
| 噪声水平 | 原始 | 补偿方法（NLM） | 补偿方法（高斯） | 补偿方法（AD） | 补偿方法（我们的方法） |
| — | — | — | — | — | — |
| Lena - 3% | 21.25 | 21.31 | 20.40 | 20.47 | 19.80 |
| Lena - 5% | 26.89 | 23.40 | 23.66 | 25.85 | 21.99 |
| Lena - 7% | 62.21 | 72.41 | 60.49 | 62.25 | 59.49 |
| Lena - 9% | 87.55 | 105.41 | 84.72 | 86.83 | 83.78 |
| Lena - 12% | 129.68 | 165.62 | 127.26 | 130.70 | 126.16 |
| Barbara - 3% | 23.48 | 23.84 | 22.63 | 23.25 | 22.30 |
| Barbara - 5% | 29.11 | 25.93 | 26.01 | 28.36 | 23.59 |
| Barbara - 7% | 75.36 | 83.91 | 73.07 | 75.16 | 70.39 |
| Barbara - 9% | 110.68 | 126.05 | 107.82 | 110.55 | 104.21 |
| Barbara - 12% | 171.15 | 200.53 | 166.81 | 172.17 | 162.51 |
从表格数据可以看出，所提出的方法在各个噪声水平下都取得了最佳的去噪效果。
二、基于Gabor分解和2D熵的视觉注意力计算模型
视觉注意力机制在计算机视觉和图像处理的多个领域具有重要应用。研究人员基于现有模型的优缺点，从频域角度提出了一种基于计算显著性的模型。
-
模型背景
- 人类视觉系统能够快速关注图像中的显著位置，注意力机制有助于我们定位场景中的显著区域。
- 现有计算模型分为滤波器模型和神经网络模型，大多数先进模型采用自下而上的方案并基于显著性图。
- 例如，Itti模型通过线性滤波和中心 - 环绕差异计算显著性，但计算成本高且无法处理大尺度显著区域；PQFT模型在频域实现，但只突出边缘信息；FTS算法在大尺度显著区域占主导时表现出色，但在处理小尺寸显著对象或依赖方向特征的显著性时效果不佳。
-
从ECRF模型到Gabor分解
- 经典的高斯差分（DoG）模型用于描述视网膜神经节细胞感受野的中心 - 环绕响应结构，即经典感受野（CRF）。
-
生理学家发现，中心 - 环绕CRF可以由更大的区域调制，即非经典感受野（nCRF）。扩展经典感受野（ECRF）模型将CRF和nCRF结合，其响应函数为：
[ECRF(\sigma_1, \sigma_2, \sigma_3) = A_1\frac{1}{\sqrt{2\pi\sigma_1}}e^{-\frac{x^2}{2\sigma_1^2}} - A_2\frac{1}{\sqrt{2\pi\sigma_2}}e^{-\frac{x^2}{2\sigma_2^2}} + A_3\frac{1}{\sqrt{2\pi\sigma_3}}e^{-\frac{x^2}{2\sigma_3^2}}]
其中，(\sigma_1)、(\sigma_2)和(\sigma_3)分别表示中心、对抗性环绕和扩展去抑制环绕的尺度，(A_1)、(A_2)和(A_3)表示相应的振幅。 - ECRF模型可以通过调整参数选择输入图像的低频和高频带通部分，但在实际应用中难以自动调整参数。因此，研究人员采用Gabor小波分解来实现特征提取。
- 选择2D Gabor滤波器而不是快速小波分解算法，是为了获得更多的方向信息。使用四个高频滤波器（方向分别为0°、45°、90°、135°）和一个低频滤波器（实际上是高斯滤波器），这五个2D Gabor滤波器几乎可以覆盖整个频域。
-
通过2D熵进行特征融合和选择
- 输入图像在不同级别或尺度上进行分解，通过五个Gabor滤波器卷积图像，并对低频Gabor滤波器的输出进行下采样，得到多个特征图。
- 2D熵是一种用于测量图像杂乱程度的有用指标，通过比较原始图像和平均滤波后的版本形成2D灰度级直方图，进而计算2D熵。
-
2D熵的计算公式为：
[2D\ entropy = -\sum_{i = 1}^{L}\sum_{j = 1}^{L}p_{ij}\log p_{ij}]
其中，(p_{ij}=\frac{r_{ij}}{MN})，(r_{ij})表示在原始图像中为第i个灰度级且在平均滤波后图像中为第j个灰度级的像素数量，MN表示输入图像的总像素数。 - 2D熵值越小，对应的特征图越有意义。
-
算法详细步骤
- 颜色通道构建 ：根据输入的RGB图像构建四个颜色通道，得到红 - 绿（RG）、蓝 - 黄（BY）和强度（I）三个通道作为后续操作的输入信号。
-
Gabor分解
：在每个通道中使用Gabor分解替代带通滤波器。2D Gabor函数为：
[g(x, y; \lambda, \theta, \sigma) = \exp(-\frac{x’^2 + y’^2}{2\sigma^2})\cos(2\pi\frac{x’}{\lambda})]
其中，(x’ = x\cos\theta + y\sin\theta)，(y’ = -x\sin\theta + y\cos\theta)，(\theta)选择为{0°、45°、90°、135°}，(\sigma = \frac{7}{5})，低频2D Gabor滤波器的(\lambda)设置为较大值（如(\lambda_{low} = 2.510)），四个高频滤波器的(\lambda)设置为(\lambda_{high} = 2.5)，滤波器大小为15×15像素。 -
特征图选择和融合
：
- 计算每个特征图的2D熵，在计算2D熵之前，使用标准差为0.02×宽度的高斯滤波器对特征图进行平滑处理。
-
考虑视网膜偏心或中心偏差效应，定义参数(cbi)：
[cbi = \sum_{m = 1}^{M}\sum_{n = 1}^{N}K(m, n) \cdot Norm(f_{mi}(m, n))]
其中，K是与特征图大小相同的高斯核，尺度参数为(\sigma_x = \frac{N}{6})和(\sigma_y = \frac{M}{6})，Norm()是归一化操作，(f_{mi})表示不同的特征图。 -
计算修改后的2D熵（M - 2D熵）：
[mei = \frac{2D\ entropyi}{cbi}] - 将同一级别的特征图进行融合，四个方向特征图的权重为其M - 2D熵的倒数，低频特征图保持不变。
- 选择包含最显著显著性信息的最佳频带构建显著性图。首先选择M - 2D熵值最低的综合图(emin)，然后检查第二低熵值的图是否小于1.1×(emin)，如果满足条件且两个频带不重叠，一个代表低频，另一个代表高频，则将这两个图线性组合。
- 最终显著性图生成 ：为I、RG和BY通道分别得到3个局部显著性图，每个图的权重为其M - 2D熵的倒数。将这3个图插值到原始分辨率进行逐像素加权求和。
-
实验结果和讨论
- 为了全面评估模型，测试数据库包括人工模式/图像和自然图像，自然图像包含大小不同的显著对象。
- 将该模型与NVT、PQFT、FTS和HFT等模型进行比较，PQFT将输入图像调整为64×64分辨率，HFT将输入图像调整为128×128分辨率，其他模型不进行调整。
综上所述，图像信号提取方法能够有效去除图像噪声并恢复细节，而基于Gabor分解和2D熵的视觉注意力计算模型在定位不同大小的显著对象方面具有优势，为图像领域的研究和应用提供了有价值的参考。
下面是信号提取和视觉注意力计算模型的主要步骤流程图：
graph LR
classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
A([开始]):::startend --> B(图像信号提取):::process
A --> C(视觉注意力计算模型):::process
B --> B1(对含噪图像应用NLM滤波器):::process
B1 --> B2(得到去噪图像和残差图像):::process
B2 --> B3(用不同滤波器对残差图像滤波):::process
B3 --> B4(提取信号):::process
B4 --> B5(将信号添加回去噪图像进行补偿):::process
B5 --> B6(计算MSE评估性能):::process
C --> C1(构建颜色通道):::process
C1 --> C2(Gabor分解):::process
C2 --> C3(特征图选择和融合):::process
C3 --> C4(选择最佳频带构建显著性图):::process
C4 --> C5(生成最终显著性图):::process
B6 --> D([结束]):::startend
C5 --> D
这个流程图展示了图像信号提取和视觉注意力计算模型的主要步骤，从开始到结束，清晰地呈现了两个模型的处理流程。
图像信号提取与视觉注意力计算模型的研究与应用
三、模型性能分析
-
信号提取方法性能
- 信息提取能力 ：从实验结果来看，所提出的信号提取方法在从残差图像中提取信息方面表现出色。与NLM滤波器、高斯滤波器和AD滤波器相比，它能够更有效地挖掘残差图像中的细节信息。这得益于其独特的滤波方式和参数设置，使得在去除噪声的同时，最大程度地保留了图像的有用信息。
- 去噪效果 ：通过均方误差（MSE）的比较可以明显看出，所提出的方法在不同噪声水平下都取得了最佳的去噪效果。在Lena和Barbara等测试图像中，无论是低噪声水平（如3%）还是高噪声水平（如12%），该方法的MSE值都相对较低，说明其能够更准确地恢复图像的真实信息，减少噪声对图像质量的影响。
-
视觉注意力计算模型性能
- 显著性预测能力 ：该模型在人类注视点预测方面优于大多数先进算法。对于包含任意大小显著对象的心理模式和自然图像，它都能够准确地定位显著区域。这得益于Gabor分解能够将图像分解到不同的频带，从而提取出丰富的特征信息，以及2D熵和M - 2D熵的应用，使得能够选择和融合最有意义的特征图，生成准确的显著性图。
- 适应性 ：Gabor滤波器的生物合理性使得该模型具有更好的适应性。在处理各种不同的刺激时，它能够根据图像的特点自动调整参数，从而更好地模拟人类视觉系统的工作方式。与其他模型相比，它在处理大尺度和小尺度显著对象时都能取得较好的效果，克服了Itti模型和FTS算法的局限性。
四、实际应用案例
-
图像分割
- 在图像分割任务中，信号提取方法可以用于去除图像噪声，提高图像的清晰度，为后续的分割操作提供更好的基础。而视觉注意力计算模型可以帮助确定图像中的显著区域，将这些区域作为分割的重点，从而提高分割的准确性和效率。
- 例如，在医学图像分割中，去除噪声后的图像能够更清晰地显示出病变区域的特征，而显著性图可以帮助医生快速定位可能存在病变的区域，辅助诊断。
-
目标检测与跟踪
- 对于目标检测和跟踪任务，视觉注意力计算模型可以快速定位图像中的目标对象，减少不必要的计算量。通过显著性图，可以将注意力集中在目标对象上，提高检测和跟踪的准确性。
- 在智能监控系统中，该模型可以实时检测出监控画面中的运动目标，并对其进行跟踪，提高监控的效率和效果。
-
图像压缩
- 在图像压缩过程中，信号提取方法可以去除图像中的冗余信息，减少数据量。而视觉注意力计算模型可以帮助确定图像中的重要区域，对这些区域进行更高质量的编码，从而在保证图像质量的前提下，降低压缩比。
- 例如，在视频会议系统中，对重要人物的面部区域进行高质量编码，而对背景区域进行低质量编码，既可以保证重要信息的清晰传输，又可以减少带宽的占用。
五、未来研究方向
-
模型优化
- 虽然现有的信号提取方法和视觉注意力计算模型已经取得了较好的效果，但仍有进一步优化的空间。可以通过改进滤波器的设计和参数调整方法，进一步提高信号提取的效率和准确性。对于视觉注意力计算模型，可以探索更有效的特征选择和融合方法，提高显著性图的质量。
- 例如，可以引入深度学习技术，利用神经网络自动学习图像的特征和显著性信息，从而提高模型的性能。
-
多模态融合
- 在实际应用中，图像往往伴随着其他模态的信息，如音频、视频等。未来的研究可以考虑将视觉注意力计算模型与其他模态的信息进行融合，实现更全面、准确的信息处理。
- 例如，在自动驾驶系统中，将视觉注意力模型与雷达、激光雷达等传感器的数据进行融合，提高对道路环境的感知能力。
-
实时性提升
- 目前的模型在处理大规模图像数据时，可能存在实时性不足的问题。未来的研究可以致力于提高模型的计算效率，实现实时处理。
- 可以采用并行计算、硬件加速等技术，优化模型的算法结构，减少计算时间，从而满足实际应用的需求。
六、总结
本文介绍了图像信号提取方法和基于Gabor分解和2D熵的视觉注意力计算模型。信号提取方法通过对残差图像的滤波和补偿，有效地去除了图像噪声并恢复了细节信息，在不同噪声水平下都取得了最佳的去噪效果。视觉注意力计算模型从频域角度出发，利用Gabor分解和2D熵实现了特征提取和融合，能够准确地定位不同大小的显著对象，在人类注视点预测方面优于大多数先进算法。
这两种方法在图像分割、目标检测与跟踪、图像压缩等多个领域具有广泛的应用前景。未来的研究可以从模型优化、多模态融合和实时性提升等方面展开，进一步推动图像领域的发展。
下面是未来研究方向的简单流程图：
graph LR
classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
A([未来研究方向]):::startend --> B(模型优化):::process
A --> C(多模态融合):::process
A --> D(实时性提升):::process
B --> B1(改进滤波器设计):::process
B --> B2(引入深度学习技术):::process
C --> C1(融合视觉与其他模态信息):::process
D --> D1(采用并行计算):::process
D --> D2(硬件加速):::process
这个流程图展示了未来研究方向的主要方面和具体的实现途径，为后续的研究提供了清晰的思路。
扫一扫
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
