YOLOv8改进 | 主干篇 | 轻量级的低照度图像增强网络IAT改进YOLOv8暗光检测（全网独家首发）

已于 2024-03-08 08:40:25 修改
阅读量6.9k 收藏 53
点赞数 36
分类专栏： YOLOv8有效涨点专栏 文章标签： YOLO 人工智能 深度学习 计算机视觉 目标检测 python
于 2024-03-08 02:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/136538118
版权
本文介绍了将Illumination Adaptive Transformer (IAT)应用于YOLOv8，以增强低光照条件下的图像检测能力。IAT是一种轻量级模型，能模拟ISP管道并动态调整图像的光照条件，达到曝光校正和图像增强的效果。通过详细步骤指导，解释了如何将IAT集成到YOLOv8中，包括核心代码修改和训练过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、本文介绍

本文给大家带来的改进机制是轻量级的变换器模型：Illumination Adaptive Transformer (IAT)，用于图像增强和曝光校正。其基本原理是通过分解图像信号处理器（ISP）管道到局部和全局图像组件，从而恢复在低光或过/欠曝光条件下的正常光照sRGB图像。具体来说，IAT使用注意力查询来表示和调整ISP相关参数，例如颜色校正、伽马校正。模型具有约90k参数和约0.004s的处理速度，能够在低光增强和曝光校正的基准数据集上持续实现优于最新技术（State-of-The-Art, SOTA）的性能，我们将其用于YOLOv8上来改进我们模型的暗光检测能力，同时本文的内容不影响其它的模块改进。

 欢迎大家订阅我的专栏一起学习YOLO！ 

专栏目录：YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制 

目录

一、本文介绍

二、基本原理

2.1 IAT原理

2.2 IAT的核心模块

三、核心代码 

四、手把手教你添加IAT低照度图像增强网络

 4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四 

五、IAT的yaml文件和运行记录

5.1 IAT的yaml文件

了解本专栏 订阅专栏 解锁全文
改进YOLOv8系列：引入低照度图像增强网络Retinexformer | 优化低光照目标检测那题
qq_44224801的博客
10-26 738
改进YOLOv8系列：引入低照度图像增强网络Retinexformer | 优化低光照目标检测那题
YOLOv8：利用轻量级低照度图像增强网络IAT
走向CTO的路上...
08-15 1141
YOLOv8作为目前最先进的目标检测算法之一，在精度和速度方面取得了显著进步。然而，YOLOv8模型在低光照条件下的目标检测任务中仍存在一些不足，例如容易受到噪声干扰和对比度不足的影响，导致检测精度下降。为了解决这个问题，本文提出了一种利用轻量级低照度图像增强网络IAT（Illumination Adaptive Transformer）改进YOLOv8模型的方法，有效提升了模型在暗光条件下的目标检测精度。
InceptionNext:当Inception遇到ConvNeXt
AI浩
06-24 1513
回顾深度学习的历史[31]，卷积神经网络(Convolutional Neural Networks, cnn)[32,33]无疑是计算机视觉中最流行的模型。在2012年，AlexNet[30]赢得了ImageNet[11,50]比赛，开启了cnn在深度学习，尤其是计算机视觉领域的新时代。
注意力特征融合
m0_47867638的博客
08-02 1367
特征融合，即来自不同层或分支的特征的组合，是现代网络架构中无处不在的一部分。它通常通过简单的操作来实现，如求和或拼接，但这可能不是最佳选择。在这项工作中，我们提出了一种统一且通用的方案，即注意力特征融合，它适用于大多数常见场景，包括由短连接和长连接引起的特征融合以及Inception层内的特征融合。为了更好地融合不一致的语义和尺度的特征，我们提出了一个多尺度通道注意力模块，该模块解决了在融合不同尺度特征时出现的问题。
HCF-Net:用于红外小目标检测的分层上下文融合网络
m0_47867638的博客
04-20 2370
红外小目标检测是一项重要的计算机视觉任务，涉及在红外图像中识别和定位微小物体，这些物体通常仅包含几个像素。然而，由于物体尺寸极小以及红外图像中通常复杂的背景，这项任务面临困难。在本文中，我们提出了一种深度学习方法 HCF-Net，通过多个实用模块显著提高了红外小目标检测的性能。具体来说，它包括并行补丁感知注意力（PPA）模块、维度感知选择性集成（DASI）模块和多空洞通道细化器（MDCR）模块。PPA 模块使用多分支特征提取策略来捕获不同尺度和级别的特征信息。DASI 模块实现自适应通道选择和融合。
YOLOv9改进策略 ：主干优化 | MobileViTAttention自注意力，更小、更轻、精度更高 ，性能优于MobileNetV3等
03-29 2000
有博客都是将MobileViT作为backbone引入YOLO，因此存在的问题点是训练显存要求巨大，因此本文引入自注意力(ViTs)：MobileViTAttention，从而实现高效涨点
YOLOv9改进策略 ：主干优化 | 无需TokenMixer也能达成SOTA性能的极简ViT架构 | CVPR2023 RIFormer
03-29 1247
RIFormerBlock引入到YOLOv9，多个数据集验证能够大幅度涨点
YOLOv5改进 | 主干篇 | 轻量级的低照度图像增强网络IAT改进YOLOv5暗光检测（全网独家首发）
Snu77的博客
03-11 3192
本文给大家带来的改进机制是轻量级的变换器模型：Illumination Adaptive Transformer (IAT)，用于图像增强和曝光校正。其基本原理是通过分解图像信号处理器（ISP）管道到局部和全局图像组件，从而恢复在低光或过/欠曝光条件下的正常光照sRGB图像。具体来说，IAT使用注意力查询来表示和调整ISP相关参数，例如颜色校正、伽马校正。模型具有约90k参数和约0.004s的处理速度，能够在低光增强和曝光校正的基准数据集上持续实现优于最新技术（State-of-The-Art, SOTA）
YOLOv5改进 | 主干篇 | 低照度图像增强网络SCINet改进黑暗目标检测（全网独家首发）
Snu77的博客
01-23 2389
本文给大家带来的改进机制是低照度图像增强网络SCINet，SCINet（自校正照明网络）是一种专为低光照图像增强设计的框架。它通过级联照明学习过程和权重共享机制来处理图像，优化了照明部分以提升图像质量。我将该网络集成在YOLOv5的主干上针对于图像的输入进行增强，同时该网络的并不会增加参数和计算量，基本和普通的网络结构保持一致，同时该结构支持自定义调节层数，来控制图像增强的效果 ，非常适合想要在黑夜目标检测领域发表文章的读者，该基本网络不会影响模型的速度。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 15万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv11改进 | 特殊场景检测篇 | 低照度图像增强网络SCINet改进黑暗目标检测（全网独家首发）
Snu77的博客
11-04 1392
本文给大家带来的改进机制是低照度图像增强网络SCINet，SCINet（自校正照明网络）是一种专为低光照图像增强设计的框架。它通过级联照明学习过程和权重共享机制来处理图像，优化了照明部分以提升图像质量。我将该网络集成在YOLOv11的主干上针对于图像的输入进行增强，同时该网络的并不会增加参数和计算量，基本和普通的网络结构保持一致，同时该结构支持自定义调节层数，来控制图像增强的效果 ，非常适合想要在黑夜目标检测领域发表文章的读者，该基本网络不会影响模型的速度。欢迎大家订阅我的专栏一起学习YOLO！
一种低照度目标检测新策略：IAT集成YOLOv8实现暗光与雾霾环境下的性能优化【附核心实战代码】
最新发布
一键难忘的博客
12-10 3110
随着深度学习和计算机视觉的快速发展，目标检测模型在各个领域中的应用不断扩展，特别是在低照度环境下的视觉任务。YOLOv8作为当前最先进的目标检测模型之一，在高亮度和良好照明条件下表现出色，但在低照度环境下的性能存在一定的不足。为了解决这一问题，我们提出了一种轻量级的低照度图像增强网络（IAT）来改进YOLOv8的暗光检测能力。本篇文章将深入探讨这一创新改进，并附带代码实现，帮助大家更好地理解这一技术的应用和效果。
无监督低照度图像增强网络ZeroDCE和SCI介绍
10-24 6049
无监督，SCI，zero-DCE，图像增强
YOLOv5独家原创改进：图像去噪 |一种新颖的双分支残差注意，助力低光照、红外小目标检测 | 2024年最新发表（全网独家首发）
04-25 1258
本人在低光照、红外小目标数据集涨点惊喜
论文笔记|低照度图像增强-R2RNet: Low-light Image Enhancement via Real-low to Real-normal Network
weixin_46056079的博客
07-01 2744
论文介绍：1）基于Retinex的Real-low to Real-normal Network2）三个子网：Decom-Net、Denoise-Net、Relight-Net分别用于分解、去噪、对比度增强和细节保存3）收集了第一个大规模真实世界配对低/正常光图像数据集（LSRW 数据集）
YOLOv9改进策略 | 图像去雾 | 利用图像去雾网络UnfogNet辅助YOLOv9进行图像去雾检测（全网独家首发）
Snu77的博客
05-20 2032
本文给大家带来的改进机制是利用UnfogNet超轻量化图像去雾网络，我将该网络结合YOLOv9针对图像进行去雾检测（也适用于一些模糊场景），我将该网络结构和YOLOv9的网络进行结合同时该网络的结构的参数量非常的小，我们将其添加到模型里增加的计算量和参数量基本可以忽略不计这是非常难得的，因为其也算是一种图像增强算法，同时本文的内容不影响其它的模块改进可以作为工作量凑近大家的论文里，非常的适用，图像去雾检测为群友最近提出的需要的改进。欢迎大家订阅我的专栏一起学习YOLO！
YOLOv9改进策略目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
Snu77的博客
05-13 1万+
Hello，各位读者们好本专栏自开设两个月以来已经更新改进教程50余篇其中包含RepNCSPELAN4、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。同时本人一些讲解视频和包含我所有创新的YOLOv9文档并不能在优快云上传(所有的创新点都经过我的测试是可用的，得到该文件之后大家可以随意组合使用)，所以会建立群的形式在内上传我的文件和视频我也会在群内不定期和大家交流回答大家问题，同时定期会更新一些文章的创新点(经过我融合测试后的，先到先得)。
【论文笔记】—低照度图像增强—ZeroShot—RUAS网络—2021-CVPR
chaiky的博客
05-14 1万+
题目：Retinex-Inspired Unrolling With Cooperative Prior Architecture Search for Low-Light Image Enhancement 本文提出了一个新的原则性框架，通过注入弱光图像的知识和搜索轻量级的优先架构，为现实场景中的微光图像构建轻量级但有效的增强网络，命名为RUAS。...............................................................
【论文笔记】—低照度图像增强—Supervised—混合神经网络—2019-TIP
chaiky的博客
08-15 1271
【题目】：Low-Light Image Enhancement via a Deep Hybrid Network 提出了一种混合神经网络，由两个不同的流组成：内容流和边缘流RNN，利用感知损失和对抗性损失对网络进行训练。
Transformer低光增强
07-28
Transformer低光增强是指使用Transformer网络进行低光图像增强的方法。在这个方法中，通过训练一个全监督的Illumination-Adaptive-Transformer (IAT)网络，可以实时完成暗光增强和曝光矫正。这个网络的参数数量非常小，只需要90k+，属于超轻量级的实时增强网络。相比之前的Transformer工作SWIN-IR和Restormer等，这个方法在低光图像增强方面表现出更好的效果。\[1\] 这个方法的研究综述文章还提到了其他关于低光图像增强的方法和挑战。文章从数据集、网络架构、损失函数和学习机制等不同角度对低光图像增强进行了系统性的总结，并提出了一个大尺度低光图像数据集用于评估不同方法的泛化性和鲁棒性。同时，文章还讨论了低光图像增强领域存在的挑战以及未来的研究方向。\[2\] 根据LoLi-Phone数据集上的效果对比，可以看到Transformer低光增强方法在改进亮度和移除噪声方面并不是非常有效。而其他方法如Retinex-Net、MBLLEN和DRBN则可能会生成明显的伪影。然而，在增强输入图像的亮度方面，MBLLEN和RRDNet取得了视觉友好的增强效果，且没有色片、伪影以及欠曝或过曝的问题。\[3\] #### 引用[.reference_title] - *1* [IAT：实时完成暗光增强, 曝光矫正的超轻量级Transformer网络](https://blog.youkuaiyun.com/qq_29462849/article/details/125670044)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [综述：深度学习时代的低光图像增强最全综述，附带最新提出的大尺度低光图像数据集、在线评估平台](https://blog.youkuaiyun.com/huohu728/article/details/116277533)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值