cv+夜间行人识别基于Transformer与多源特征融合的夜间行人检测方法研究

原创

已于 2025-08-28 17:58:12 修改 · 980 阅读

21 ·

CC 4.0 BY-SA版权

文章标签：

#目标跟踪 #人工智能 #计算机视觉 #音视频

于 2025-08-28 17:42:15 首次发布

毕业设计题目：基于Transformer与多源特征融合的夜间行人检测方法研究

毕业设计题目：基于Transformer与多源特征融合的夜间行人检测方法研究

一、选题背景及意义

随着智慧城市、自动驾驶和安防监控的快速发展，24小时不间断的视觉感知变得至关重要。然而，夜间环境存在光照不足、图像噪点多、对比度低、细节模糊等问题，导致基于传统CNN的检测模型性能急剧下降。行人作为交通场景中的弱势群体，其夜间检测的准确性和可靠性直接关系到生命安全。近年来，Transformer模型凭借其强大的全局上下文信息捕捉能力和对远程依赖关系的建模，在多个视觉任务中展现出超越CNN的潜力。本研究旨在探索基于Transformer的先进模型，并针对夜间图像的特殊性进行创新性改进，以期显著提升夜间行人检测的精度与鲁棒性，为自动驾驶和智能安防系统的全天候运行提供关键技术支撑。

二、研究内容与关键技术

核心基线模型构建：以经典的Transformer目标检测模型（如DETR、Deformable DETR或Swin Transformer）作为基线（Baseline）。在公开数据集（如NightOwls, ExDark, COCO night subset）上完成模型的训练与测试，作为性能对比的基准。
核心创新点 - 多源特征增强机制：
- 创新点一：光照感知的特征增强模块（Illumination-Aware Feature Enhancement, IAFE）
  夜间图像的退化主要源于光照不均。本设计拟在Transformer的Backbone之后或Encoder层之间，引入一个轻量级的光照感知子网络。该子网络通过分析输入图像的亮度通道或梯度信息，预测一个光照注意力图（Illumination Attention Map），用于动态地重新加权特征图。在暗区赋予更高权重以增强特征，在过曝区则抑制可能存在的噪声，引导Transformer更关注于信息丰富的区域。
- 创新点二：多波段特征融合（针对多模态数据可选，创新性更强）
  若条件允许（如有对应的多模态数据集），可引入热红外图像（Thermal Infrared）作为另一输入源。热成像不受可见光影响，能清晰呈现行人热源。本研究将设计一个双流Transformer融合网络：
  - 可见光流：使用上述基线模型。
  - 热红外流：使用一个结构 simpler 的Transformer分支进行处理。
  - 融合模块：在特征层面，设计一个基于交叉注意力的融合模块（Cross-Attention Fusion Module），让可见光特征和热红外特征进行双向信息交互，最终融合生成对光照变化鲁棒的增强特征。
损失函数优化：
针对夜间行人目标常为小目标且分布密集的特点，在DETR的二分匹配损失基础上，引入Focal Loss或GIoU Loss，缓解正负样本不平衡问题并提升边界框的回归精度。

三、技术路线与实施方案

数据准备与预处理：选择并下载夜间行人检测数据集（如NightOwls），进行数据清洗、标注格式统一（如转为COCO格式）、数据增强（如模拟不同噪声、随机亮度调整等）。
基线模型复现：使用PyTorch或MMDetection框架，复现选定的基线模型（如Deformable DETR），并在数据集上训练至收敛，记录其性能（mAP, Recall等）。
创新模块实现：编码实现IAFE模块或双流融合模块，并将其集成到基线模型中。