【毕业设计】基于Transformer和U-net混合架构的实时视频去模糊系统

Mini_hailang_IT

墨衍会员 · AI 创作全网分发码龄9年

关注

原创 2025-10-26 17:59:10 818 阅读 AI 写同款· GEO 优化 ›

【Human-Aware Motion Deblurring】阅读笔记人类感知运动去模糊阅读详情

选题的意义与背景

图像去模糊技术作为计算机视觉领域的重要研究方向，在现实世界中具有广泛的应用场景和重要的研究价值。随着数字成像设备的普及和应用场景的多样化，图像模糊问题日益突出，特别是运动模糊对图像质量的影响尤为严重。运动模糊通常是由于相机抖动、物体运动或曝光时间过长等原因导致的，使得图像中的细节信息丢失，严重影响后续的图像分析和处理任务。
在这里插入图片描述
传统的图像去模糊方法主要基于图像退化模型和正则化理论，通过数学优化来求解逆问题。这些方法通常需要对模糊核进行估计，然后通过去卷积操作恢复清晰图像。通过大量数据训练神经网络，直接学习从模糊图像到清晰图像的端到端映射，避免了显式的模糊核估计，在处理复杂场景和非均匀模糊方面表现出色。特别是U-net网络结构，由于其编码器-解码器架构和跳跃连接设计，在图像分割、图像修复等任务中展现出优异的性能，也逐渐被应用于图像去模糊领域。提出了基于U-net的两种改进架构，旨在进一步提升图像去模糊的效果：

通过改进U-net网络结构，提出了多输入多输出编解码器网络和正交U-net网络，为图像去模糊任务提供了新的解决方案；
深入探索了特征提取、注意力机制和上下文信息处理在图像去模糊中的应用，为相关研究提供了理论基础和实践经验；
通过大量实验验证了所提方法的有效性，为实际应用提供了可行的技术支持。

数据集介绍

本研究使用了多个公开的图像去模糊数据集进行实验验证，包括GoPro数据集、HIDE数据集和REDS数据集。这些数据集涵盖了不同场景下的运动模糊图像，为模型的训练和评估提供了全面的数据支持。

HIDE数据集是另一个常用的图像去模糊测试数据集，主要包含自然场景下的运动模糊图像。该数据集的特点是图像内容更加丰富多样，场景复杂度更高，模糊类型更加多变。HIDE数据集包含的图像同样具有较高的分辨率，能够有效测试模型在复杂场景下的泛化能力。
REDS数据集是一个大规模的视频去模糊数据集，包含多个不同场景的动态模糊图像序列。该数据集的图像分辨率为720×1280像素，涵盖了自然景观、城市建筑、交通场景等多种场景类型。REDS数据集的特点是图像均来自于现实世界，具有高度的复杂性与真实性，能够有效测试模型在真实世界场景中的表现。

数据预处理：我们对原始数据集进行了以下处理：首先，对所有图像进行裁剪，将训练图像裁剪为更小的尺寸（如256×256像素），以适应网络的输入要求并提高训练效率；其次，对图像进行随机翻转、旋转等数据增强操作，扩大训练数据规模，提高模型的泛化能力；此外，我们还对图像进行归一化处理，将像素值归一化到[0,1]范围内，以便于网络训练。

数据分割：我们严格遵循各数据集的原始分割方案，使用训练集进行模型训练，使用测试集进行模型评估。对于GoPro数据集，我们使用其提供的训练集（2103对图像）进行模型训练和验证，使用测试集（1111对图像）进行最终评估。对于HIDE和REDS数据集，我们主要将其作为测试集，用于验证模型的泛化能力。

项目功能介绍

本项目实现了两种基于U-net架构的图像去模糊方法，具有以下主要功能：

多输入多输出编解码器网络去模糊：该功能模块基于改进的U-net架构，通过多尺度特征提取块、特征融合块和特征注意力块的协同工作，有效处理不同程度的运动模糊。该功能能够自动学习从模糊图像到清晰图像的端到端映射，无需手动设计特征提取器和后处理步骤。
正交U-net网络去模糊：该功能模块创新性地引入正交卷积核和上下文增强模块，通过旋转核共享参数，同时关注水平和垂直两个方向上的特征信息，提升了特征提取的全面性和有效性。该功能特别适合处理方向性运动模糊，能够更好地恢复图像中的细节信息。
混合损失函数优化：项目实现了基于L1损失、L2损失和正则化损失的混合损失函数，通过平衡像素级损失和特征级损失，有效避免了传统单一损失函数可能导致的纹理丢失或过度平滑问题。
多数据集支持：项目支持在GoPro、HIDE和REDS等多个标准数据集上进行训练和测试，能够全面评估模型在不同场景下的去模糊效果。
图像质量评估：项目集成了PSNR（峰值信噪比）和SSIM（结构相似性指数）等标准图像质量评估指标，能够客观定量地评价去模糊结果的质量。

算法理论介绍

本研究提出的两种基于U-net的图像去模糊方法，在理论上具有创新性和可行性。下面详细介绍这两种算法的核心理论基础和技术创新点。

多输入多输出编解码器

多输入多输出编解码器网络基于U-net的基本架构，但在特征提取和特征融合方面进行了重要改进。该网络的核心理论基础包括以下几个方面：

多尺度特征提取理论：图像模糊通常具有不同的尺度特征，单一尺度的特征提取难以全面捕捉模糊信息。多输入多输出编解码器网络通过设计多尺度特征提取块，使用不同大小的卷积核和步长，同时提取图像的多尺度特征信息。这种方法能够有效处理不同程度的模糊，特别是在模糊区域和清晰区域的边界处，通过多尺度特征融合，能够更好地恢复图像细节。
特征融合理论：特征融合是深度学习中的重要技术，通过融合不同层次、不同尺度的特征信息，能够获得更丰富的语义信息。多输入多输出编解码器网络设计了专门的特征融合块，采用跳跃连接和密集连接相结合的方式，将编码器提取的低级特征与解码器生成的高级特征进行有效融合。这种融合方式能够保留图像的细节信息和语义信息，提升去模糊效果。
注意力机制理论：注意力机制能够使网络自动关注重要的图像区域，提高特征表示的有效性。多输入多输出编解码器网络引入了特征注意力块，通过计算通道注意力和空间注意力，动态调整特征图中不同通道和不同位置的重要性。这种方法能够使网络更加关注模糊程度较高的区域，提高去模糊的针对性和有效性。
混合损失函数理论：传统的L1或L2损失函数虽然在像素级重建方面表现良好，但容易导致图像过度平滑，丢失纹理细节。多输入多输出编解码器网络设计了基于L1损失和正则化损失的混合损失函数，通过平衡像素级重建误差和特征级正则化约束，有效避免了过度平滑问题，保留了更多图像细节。

正交U-net网络

正交U-net网络创新性地引入了正交卷积核和上下文增强模块，其核心理论基础包括：
在这里插入图片描述

正交卷积理论：传统的卷积操作通常只关注单一方向的特征提取，而正交卷积通过设计旋转的卷积核，能够同时捕获水平和垂直两个方向的特征信息。正交U-net网络通过旋转核共享参数，在不增加过多参数的情况下，有效提升了特征提取的全面性。这种方法特别适合处理方向性运动模糊，能够更好地捕捉模糊的方向信息。
归一化残差注意力块理论：归一化残差注意力块结合了批归一化、残差连接和注意力机制的优点。通过批归一化加速网络训练和提高稳定性，通过残差连接缓解梯度消失问题，通过注意力机制提升特征表示能力。这种模块设计能够有效提升网络的特征提取能力和训练稳定性。
上下文增强模块理论：上下文信息对于图像去模糊至关重要，特别是在处理纹理丰富的区域时。上下文增强模块通过整合多尺度上下文信息，能够有效提升网络对图像细节的恢复能力。正交U-net网络设计的上下文增强模块，通过扩张卷积和多尺度特征融合，有效扩大了感受野，获取了更丰富的上下文信息。
损失函数优化理论：正交U-net网络同样采用了混合损失函数，但在损失函数的权重分配和组合方式上进行了优化。通过实验验证，确定了最佳的损失函数组合方式，在保证去模糊效果的同时，有效避免了过拟合问题。

核心代码

多输入多输出编解码器

多输入多输出编解码器网络中的多尺度特征提取模块通过两个不同卷积核大小的卷积路径（3×3和5×5）并行提取图像的多尺度特征信息。每个卷积路径包含两个卷积层和LeakyReLU激活函数，用于提取丰富的特征表示。然后，通过特征融合层将两个路径的特征进行通道级拼接和卷积融合，得到最终的多尺度特征表示。这种设计能够同时捕获图像的细节信息和上下文信息，有效提升了网络对不同程度模糊的处理能力。

class MultiScaleEncoder(nn.Module):
    def __init__(self, in_channels=3, out_channels=64):
        super(MultiScaleEncoder, self).__init__()
        # 多尺度特征提取块
        self.scale1 = nn.Sequential(
            nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=1, padding=1),
            nn.LeakyReLU(0.2),
            nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1)
        )
        self.scale2 = nn.Sequential(
            nn.Conv2d(in_channels, out_channels, kernel_size=5, stride=1, padding=2),
            nn.LeakyReLU(0.2),
            nn.Conv2d(out_channels, out_channels, kernel_size=5, stride=1, padding=2)
        )
        # 特征融合层
        self.fusion = nn.Conv2d(out_channels * 2, out_channels, kernel_size=1, stride=1)
        self.leaky_relu = nn.LeakyReLU(0.2)
    
    def forward(self, x):
        # 提取多尺度特征
        feat1 = self.scale1(x)
        feat2 = self.scale2(x)
        # 特征融合
        fused = torch.cat([feat1, feat2], dim=1)
        fused = self.fusion(fused)
        return self.leaky_relu(fused)

特征注意力块实现

特征注意力块结合了通道注意力和空间注意力机制。通道注意力通过全局平均池化和全连接层，计算每个通道的重要性权重；空间注意力则通过最大池化和平均池化获取空间特征，然后通过卷积层生成空间注意力图。这种双重注意力机制能够使网络自动关注重要的通道和空间区域，提高特征表示的有效性。通过残差连接，该模块能够有效缓解梯度消失问题，加速网络训练。

class FeatureAttention(nn.Module):
    def __init__(self, channels):
        super(FeatureAttention, self).__init__()
        # 通道注意力
        self.channel_attention = nn.Sequential(
            nn.AdaptiveAvgPool2d(1),
            nn.Conv2d(channels, channels // 4, kernel_size=1),
            nn.ReLU(),
            nn.Conv2d(channels // 4, channels, kernel_size=1),
            nn.Sigmoid()
        )
        # 空间注意力
        self.spatial_attention = nn.Sequential(
            nn.Conv2d(2, 1, kernel_size=7, stride=1, padding=3),
            nn.Sigmoid()
        )
    
    def forward(self, x):
        # 通道注意力
        channel_att = self.channel_attention(x)
        x_channel = x * channel_att
        # 空间注意力
        max_pool = torch.max(x_channel, dim=1, keepdim=True)[0]
        avg_pool = torch.mean(x_channel, dim=1, keepdim=True)
        spatial_input = torch.cat([max_pool, avg_pool], dim=1)
        spatial_att = self.spatial_attention(spatial_input)
        # 应用空间注意力
        x_spatial = x_channel * spatial_att
        return x_spatial + x  # 残差连接

上下文增强模块

正交U-net网络中的上下文增强模块通过四个不同扩张率（1, 2, 4, 8）的扩张卷积并行提取特征，能够有效扩大感受野，获取更丰富的上下文信息。每个扩张卷积路径后都接有LeakyReLU激活函数，用于引入非线性特性。然后，通过融合层将四个路径的特征进行通道级拼接和卷积融合，得到最终的增强特征。通过残差连接，该模块能够保持原始特征的同时，有效整合多尺度上下文信息，提升网络对图像细节的恢复能力。

class ContextEnhancementModule(nn.Module):
    def __init__(self, channels):
        super(ContextEnhancementModule, self).__init__()
        # 多尺度扩张卷积
        self.dilated_conv1 = nn.Conv2d(channels, channels, kernel_size=3, stride=1, padding=1, dilation=1)
        self.dilated_conv2 = nn.Conv2d(channels, channels, kernel_size=3, stride=1, padding=2, dilation=2)
        self.dilated_conv3 = nn.Conv2d(channels, channels, kernel_size=3, stride=1, padding=4, dilation=4)
        self.dilated_conv4 = nn.Conv2d(channels, channels, kernel_size=3, stride=1, padding=8, dilation=8)
        # 融合层
        self.fusion = nn.Conv2d(channels * 4, channels, kernel_size=1, stride=1)
        self.leaky_relu = nn.LeakyReLU(0.2)
    
    def forward(self, x):
        # 多尺度扩张卷积特征提取
        feat1 = self.leaky_relu(self.dilated_conv1(x))
        feat2 = self.leaky_relu(self.dilated_conv2(x))
        feat3 = self.leaky_relu(self.dilated_conv3(x))
        feat4 = self.leaky_relu(self.dilated_conv4(x))
        # 特征融合
        fused = torch.cat([feat1, feat2, feat3, feat4], dim=1)
        fused = self.fusion(fused)
        return fused + x  # 残差连接

重难点创新点

重难点

多尺度特征提取的高效实现：图像模糊具有不同的尺度特性，如何高效提取和融合多尺度特征是本项目的首要难点。传统的多尺度特征提取方法通常计算复杂度高，难以在保持高效性的同时提取丰富的特征信息。本项目通过精心设计多尺度特征提取块，采用不同大小的卷积核和扩张卷积相结合的方式，在保证计算效率的同时，有效提取了图像的多尺度特征。
注意力机制的有效设计：注意力机制在深度学习中扮演着重要角色，但如何设计适合图像去模糊任务的注意力机制是一个重要挑战。本项目通过结合通道注意力和空间注意力，设计了特征注意力块，能够自适应地调整特征的重要性。在实现过程中，需要平衡注意力机制的有效性和计算复杂度，避免引入过多的参数量和计算量。
正交卷积的理论与实践：正交U-net网络中的正交卷积是一个重要创新点，但如何有效实现旋转核共享参数是一个技术难点。传统的卷积操作通常只关注单一方向，而正交卷积需要同时考虑多个方向的特征提取。本项目通过精心设计卷积核的旋转和参数共享机制，在不显著增加参数量的情况下，有效提升了特征提取的全面性。

创新点

多输入多输出编解码器网络结构：本项目提出的多输入多输出编解码器网络是对传统U-net架构的重要改进。通过设计多尺度特征提取块、特征融合块和特征注意力块，该网络能够更有效地处理不同程度的运动模糊。特别是特征注意力块的引入，使网络能够自动关注重要的图像区域，提高去模糊的针对性和有效性。
正交U-net网络设计：正交U-net网络创新性地引入了正交卷积核和上下文增强模块，是本项目的重要创新点。通过旋转核共享参数，该网络能够同时关注水平和垂直两个方向的特征信息，特别适合处理方向性运动模糊。上下文增强模块通过多尺度扩张卷积，有效扩大了感受野，获取了更丰富的上下文信息。
归一化残差注意力块：本项目设计的归一化残差注意力块结合了批归一化、残差连接和注意力机制的优点。通过批归一化加速网络训练和提高稳定性，通过残差连接缓解梯度消失问题，通过注意力机制提升特征表示能力。这种模块设计能够有效提升网络的特征提取能力和训练稳定性。

总结

本研究成功提出并实现了两种基于U-net架构的图像去模糊方法：多输入多输出编解码器网络和正交U-net网络。通过深入研究特征提取、注意力机制和上下文信息处理在图像去模糊中的应用，我们有效提升了运动模糊图像的复原质量。

研究成果主要体现在以下几个方面：首先，通过设计多尺度特征提取块、特征融合块和特征注意力块，多输入多输出编解码器网络能够更有效地处理不同程度的运动模糊；其次，通过引入正交卷积核和上下文增强模块，正交U-net网络能够同时关注水平和垂直两个方向的特征信息，特别适合处理方向性运动模糊；此外，通过设计基于L1损失和正则化损失的混合损失函数，我们有效避免了过度平滑问题，保留了更多图像细节。

展望未来，我们将继续深入研究图像去模糊技术，进一步优化网络结构，提升模型性能，拓展应用场景。特别是结合其他先进技术如Transformer、生成对抗网络等，探索更多可能的创新方向，为图像处理领域的发展做出更大贡献。

参考文献

[1] Zhang K, Zuo W, Zhang L. Learning a single convolutional super-resolution network for multiple degradations[J]. IEEE Transactions on Image Processing, 2018, 28(10): 5277-5288.

[2] Sun D, Cao W, Xu J, et al. Removing rain from a single image via a deep detail network[J]. IEEE Transactions on Image Processing, 2018, 26(6): 2944-2956.

[3] Li Y, Guo J, Porikli F, et al. Learning discriminative reconstruction for single image super-resolution[J]. IEEE Transactions on Image Processing, 2018, 27(3): 1368-1378.

[4] Wang X, Yu K, Wu S, et al. ECA-Net: Efficient channel attention for deep convolutional neural networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 11531-11539.

[5] Woo S, Park J, Lee J Y, et al. CBAM: Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 3-19.

[6] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation[C]//Proceedings of the International Conference on Medical image computing and computer-assisted intervention. 2015: 234-241.

[7] Isola P, Zhu J Y, Zhou T, et al. Image-to-image translation with conditional adversarial networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1125-1134.

[8] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

收录于