基于深度学习变分自动编码器的Mura缺陷图像数据集生成方案

《误佳期》

千金难求珍宝 家和易得欢笑 人生自是有情痴 原做双飞鸟

情两难分付 是一丝烦恼 蓦然回首神仙地 还道人间好

公司项目，已申请专利。

由于深度学习自身的算法特性，需要大量的Mura缺陷图片作为训练数据集供神经网络学习缺陷特征，而这些Mura缺陷图像的获取则成了制约深度学习在图像Mura缺陷检测领域发展应用的一大因素。每一张缺陷图片需要一个Mura缺陷屏幕，而缺陷屏幕的数量本就不是很多，且这些缺陷屏幕都是各个厂家的保密资产，难以得到。

生成模式作为深度学习技术的一大分支在图像领域有较大发展，生成模式通过学习图像的数据统计分布特征，使用神经网络训练拟合这种统计分布特征，通过在分布特征中随机采样，生成与原图同分布不同采样的数据，即生成和原图“一样但不同”的新图片。可以大量生成各种不同的Mura缺陷图像，扩充数据集。

本发明为一种基于深度学习变分自动编码器的神经网络模型，使用基于卷积操作的编码器提取Mura图像的统计分布特征，得到Mura缺陷图像数据分布隐空间的均值和方差，通过训练使得隐空间的均值和方差和标准正态分布的均值和方差接近，然后从隐空间中随机采样隐向量，通过解码器生成出新的图像，该图像和原图像属于同一个统计分布空间内的不同采样数据，即新图像和原图相同（都是真实的缺陷图片）但又不同（两者看起来不一样）。

本方案属于计算机视觉、图像生成/重构领域，涉及一种基于多层卷积特征提取、注意力分配、图像重构的图像处理方法。包括采集存在Mura缺陷的图像；本发明设计了一种基于三重注意力机制和变分自动编码器(VAE)的神经网络模型称为LVAE，提取缺陷图像的统计分布，再从统计分布中随机采样生成新的缺陷图像。神经网络基于批次归一化、3×3卷积、非线性化操作的卷积核和特征注意力特征提取模块(SKConv)；平面像素注意力机制模块(PPA)；基于3×3卷积和1×1卷积的特征压缩模块(FS)；通道混洗加和模块(CSA);通道加和池化模块(CAP)；基于反卷积操作、特征加和模块和和注意力机制模块的图像重构模块(Decoder)；增加了L2正则化和DropBlock技术用于防止神经网络过拟合；增加了Resnet技术增加前后特征层的数据交互，最大限度保留浅层的特征，消除梯度消失现象；加入数据并行(DP)模式用于减少显存消耗和提升训练速度。

使用神经网络对训练数据集进行深度学习，随机采样数据经过重参数化技术后输入已完成训练的模型进行推理