目录
前言
本文发表于期刊IEEE Transactions on Image Processing ，发表时间为 2022 年 6 月。第一作者张东卫：中共党员，博士，河南科技学院信息工程学院校聘教授。长期从事低可视性图像增强、智慧农业、深度学习等方面的研究。
文献地址：Underwater Image Enhancement via MinimalColor Loss and Locally AdaptiveContrast Enhancement
代码地址：https://github.com/Li-Chongyi/MMLE_code
Abstract-摘要
水下图像由于波长相关的光吸收和散射而存在色差和低可见度。针对这些退化问题，本文提出了一种高效、鲁棒的水下图像增强方法MLLE，该方法首先根据最小颜色损失原则和最大衰减映射指导的融合策略对输入图像的颜色和细节进行局部调整，然后根据最小颜色损失原则和最大衰减映射指导的融合策略对输入图像的颜色和细节进行局部调整，最后根据最小颜色损失原则和最大衰减映射指导的融合策略对输入图像的颜色和细节进行局部调整。然后，利用积分映射和平方积分映射来计算局部图像块的均值和方差，并利用这些均值和方差来自适应地调整输入图像的对比度。同时，引入了一种色彩平衡策略来平衡CIELAB颜色空间中通道a和通道B之间的色差。我们的增强效果的特点是生动的色彩，改进的对比度，并增强了细节。在3个水下图像增强数据集上的实验结果表明，该算法在图像增强效果上有效得到提高。在单CPU上处理1024 × 1024×3的图像，处理速度可达1 s。实验进一步表明，该方法能够有效地提高水下图像分割、关键点检测和显著性检测的性能。项目页面位于https://li-chongyi.github.io/pr+oj_MMLE.html.
一、Introduction-引言
文章围绕水下图像增强展开，先阐述水下图像因多种因素导致质量下降及现有水下图像增强方法存在的不足，接着介绍了一种名为 MLLE 的水下图像增强方法及其两个主要阶段的具体操作，最后强调了该工作在提出高效方法、颜色校正以及对比度增强方面的三点贡献。
二、Background-背景
2.1水下成像的重要性与水下图像面临的问题
水下成像在海洋科学考察、水下机器人以及水下物体识别等诸多领域起着重要作用，水下图像是感知和理解水下环境的关键信息载体。然而，由于光的波长依赖型吸收和散射、光照不足以及低端水下成像设备等因素影响，水下图像的颜色和对比度出现了严重的退化情况。例如，光的选择性吸收易造成水下图像出现颜色偏差，光散射则容易致使图像细节模糊、对比度变低。
2.2现有水下图像增强（UIE）方法及局限
- 硬件相关方法：早期基于专门硬件的方法，像利用多图像或偏振成像来提升水下图像的可见度，但此类复杂设备很难捕获图像序列，在实际应用中存在不便之处。
- 基于恢复的方法：这类方法在准确估计水下成像模型的参数方面存在困难，难以精准还原水下图像原本应有的质量效果。
- 增强类方法：在增强水下图像对比度和亮度上有一定表现，但往往容易出现过度增强以及过饱和等不良情况，影响图像最终的视觉质量。
- 学习类方法：其发展受限于高质量训练图像数量稀少的问题，缺少足够优质的数据支撑来训练出理想的模型以进行有效的水下图像增强。
三、方法
整个流程包含局部自适应颜色校正（LACC）和局部自适应对比度增强（LACE）两部分。
1、在局部自适应颜色校正环节：先是将水下图像转换为细节图像（DI）、衰减图像（AM）以及三个重新定义的颜色通道。接着依据最小颜色损失原则进行颜色补偿，由这三个重新定义的颜色通道得到的颜色补偿图像被视作颜色转移图像。之后，利用最大衰减图引导的融合策略，对细节图像、衰减图像以及颜色转移图像进行自适应融合。
2、在局部自适应对比度增强环节：借助积分和平方积分图高效地计算局部均值和方差，以此来对经过颜色校正后的图像的局部对比度进行自适应调整。同时，运用色彩平衡策略来平衡 CIELAB 色彩空间中 a 通道和 b 通道之间的差异，通过这样一系列的操作，最终该方法能够生成增强后的水下图像。
3.1局部自适应颜色校正（LACC）
由于水介质对光吸收的影响，水下图像通常呈现蓝色或绿色。为了获得高可见度的水下图像，首先要对彩色图像进行校正
3.1.1最小颜色损失
首先利用最小颜色损失原则从原始水下图像中获得颜色转移图像，最小颜色损失原则：本文首先根据其平均值重新定义红色，绿色和蓝色通道。其中H和W分别是输入图像I的高度和宽度。本文将最大平均值、中等平均值和最小平均值的颜色通道分别定义为大颜色通道I1、中等颜色通道Im和小颜色通道Is。
r = im2double(Input(:, :, 1));
g = im2double(Input(:, :, 2));
b = im2double(Input(:, :, 3));
meanR = mean(mean(r));
meanG = mean(mean(g));
meanB = mean(mean(b));在灰色世界中，具有自然颜色的图像的所有颜色通道具有相似的平均值和直方图分布。因此，最小颜色损失原则受到灰色世界假设的启发。基于最小颜色损失原则，大颜色通道与中等和小颜色通道之间的总颜色损失Lcolor被定义为：
ICR m和ICR s分别是颜色补偿的Im和Is。为了确保每个颜色通道的平均值和直方图分布是相似的，迭代地采用等式：
if meanG > meanB
loss = 1;
while loss > 0.01
J = (meanG - meanR);
k = (meanG - meanB);
r = r + J * g;
b = b + k * g;
meanR = double(mean(mean(r)));
meanB = double(mean(mean(b)));
loss = min(J, k);
end自适应颜色补偿的约束：由于大颜色通道的衰减小于其他两个颜色通道，因此采用简单的线性传输来增加大颜色通道的动态范围。
bottom = min(imRGB(ch, :));
top = max(imRGB(ch, :));
imRGB(ch, :) = (imRGB(ch, :) - bottom) * num / (top - bottom);
3.1.2最大衰减图引导融合
由于灰色世界假设忽略了波长相关的光吸收，它可能会引入一些不必要的颜色失真，因此，水下图像颜色校正还需要充分考虑波长相关性。为了准确估计波长相关衰减水平，考虑了不同的光衰减，并选择最大衰减图作为颜色转移的引导图像。最大衰减图可以表示为：其中γ是控制接收光强度的参数，γ的默认值设置为1.2
r = Input(:, :, 1);
r = im2double(r);
Ar = 1 - r .^ (1.2);
g = Input(:, :, 2);
g = im2double(g);
Ag = 1 - g .^ (1.2);
b = Input(:, :, 3);
b = im2double(b);
Ab = 1 - b .^ (1.2);ICC表示最终颜色校正图像，AM_max表示获得的最大衰减图，详细图像为Dc ，其通过高斯核从输入图像中减去模糊版本。
kernel2 = fspecial('gaussian', [3, 3], 1.4);
DR = CT(:, :, 1) - imfilter(CT(:, :, 1), kernel2, 'conv', 'same', 'replicate');
DG = CT(:, :, 2) - imfilter(CT(:, :, 2), kernel2, 'conv', 'same', 'replicate');
DB = CT(:, :, 3) - imfilter(CT(:, :, 3), kernel2, 'conv', 'same', 'replicate');
detail_image = cat(3, DR, DG, DB);
imwrite(uint8(detail_image*10), fullfile(result_dir,[image_name,'_detail_image.jpg']));
CC(:, :, 1) = Am .* CT(:, :, 1) + (1 - Am) .* double(Input(:, :, 1)) + DR;
CC(:, :, 2) = Am .* CT(:, :, 2) + (1 - Am) .* double(Input(:, :, 2)) + DG;
CC(:, :, 3) = Am .* CT(:, :, 3) + (1 - Am) .* double(Input(:, :, 3)) + DB;
LACCR = uint8(CC);
3.2局部自适应对比度增强
本文提出了一个局部自适应对比度增强，以提高水下图像的对比度。一方面，提高亮度通道L的对比度。另一方面，平衡了CIELAB颜色空间中A和B颜色通道之间的色差。
3.2.1局部自适应对比度增强
首先假设局部块B是亮度通道L的局部积分图像，其中积分块B的左上角的顶点位置是（x，y），局部块的高度和宽度是H和W，并且局部块的灰度矩阵是LB（x，y）,局部块的均值和方差。它可以表示为：
本文提出了一个局部自适应对比度增强，以提高水下图像的对比度。一方面，提高亮度通道本文将局部图像块B的总像素均值近似为低频分量。同样，本文从输入图像块中减去低频分量，得到高频分量，目的是通过适当增强高频分量来提高输入图像的对比度。因此，引入高频分量的增强控制因子是必不可少的。将图像块B中的增强过程定义为：
其中α表示增强控制因子。如图（B）和（c）所示，我们发现如果α的值太小，则可能导致增强图像中的平滑纹理和细节丢失。相反，如图4（e）和（f）所示，如果α的值太大，则可能导致增强图像中的像素溢出和过饱和
function enhanceGray = LLCE(I, r)
I = double(I);
[hei, wid] = size(I);
N = boxfilter(ones(hei, wid), r);
Mean = boxfilter(I, r) ./ N;
p = (Mean + 2 * (I - Mean));
I = (I) / 100;
eps = 0.005;
mean_I = boxfilter(I, r) ./ N;
mean_p = boxfilter(p, r) ./ N;
mean_Ip = boxfilter(I .* p, r) ./ N;
cov_Ip = mean_Ip - mean_I .* mean_p;
mean_II = boxfilter(I .* I, r) ./ N;
var_I = mean_II - mean_I .* mean_I;
a = cov_Ip ./ (var_I + eps);
b = mean_p - a .* mean_I;
mean_a = boxfilter(a, r) ./ N;
mean_b = boxfilter(b, r) ./ N;
enhanceGray = (mean_a .* I + mean_b);
enhanceGray = (enhanceGray + p) / 2;
end
3.2.2色彩平衡策略
本文提出了一种色彩平衡策略，以进一步校正CIELAB色彩空间中a和B通道之间的色差。基于a和B通道的总像素强度来确定保存良好的颜色通道。每个颜色通道的平均Ic值通过下式计算
进一步补偿差异以产生自然颜色。a和B通道的补偿过程表示为：
总结
文章提出了一种名为 MLLE 的水下图像增强方法，该方法包含局部自适应颜色校正（LACC）以及局部自适应对比度增强（LACE）两个主要阶段。在 LACC 阶段基于最小颜色损失原则进行颜色补偿，并通过最大衰减图引导的融合策略来融合相关图像以校正颜色；在 LACE 阶段利用积分和平方积分图计算局部均值和方差，以此自适应调整对比度，同时配合色彩平衡策略保障色彩效果，整体旨在有效解决水下图像颜色和对比度退化的问题。
扫一扫
2361
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
