23、电商图像分割中基于权重标准化的神经网络训练加速及防水膜可靠性分析-优快云博客

本文链接：https://blog.youkuaiyun.com/l6m7n8/article/details/152634209

电商图像分割中基于权重标准化的神经网络训练加速及防水膜可靠性分析

1. 电商图像分割相关研究背景

在图像分割任务中，近年来计算机视觉领域取得了显著进展。像Mask R - CNN和FCIS等实例分割方法，都是建立在Faster R - CNN和R - FCN等目标检测进展之上。然而，现有的图像分割方法存在诸多问题。

Mask - RCNN是典型的两阶段分割方法，第一阶段生成潜在感兴趣区域（ROI），第二阶段对这些区域进行分类和分割。后续有研究尝试通过丰富特征金字塔网络（FPN）或消除掩码真值评估与定位精度之间的不兼容性来提高其准确性。但两阶段方法需要对每个ROI进行重采样和后处理，即使减小图像尺寸也难以达到实时速度（30帧每秒）。

一阶段方法生成位置敏感图，再重新组合成最终掩码，但仍需要重采样或其他非平凡计算，速度受限，无法实现实时分割。还有一些方法先进行语义分割，再检测边界和聚类像素，这些方法涉及多个步骤和昂贵的聚类过程，不适合实时应用。

因此，实时分割的神经网络训练需要大量处理能力（几个GPU），且达到与两阶段方法相同的结果需要很长时间。本文提出了一种基于YOLACT并通过权重标准化改进的电商图像实时分割方法，旨在加速神经网络训练，使用一到两个GPU解决分割任务，同时不减小图像尺寸和损失预测精度，目标是逐像素识别图像中的21类对象。

2. 训练集情况

训练集由40032张图像组成，分为21类对象。这些图像是通过将识别的对象与任意背景进行旋转、缩放和居中组合而成。每张图像大小为800×800像素，格式为RGB，每个通道8位。为解决分割任务，训练集中的每张图像都应有一个二进制掩码，其中0表示背景，255表示前景（对象本身）。测试集包含12098张类似图像。

3. 权重标准化原理

研究中使用的YOLACT神经网络属于卷积神经网络。在卷积神经网络架构中，权重是卷积核（参与卷积操作的矩阵）的元素，每个核在图像的相应输入通道上滑动，生成处理后的版本。

为提高神经网络性能和稳定性，会对网络的某些层应用归一化方法，其中之一是批量归一化。批量归一化的要点是向神经网络的某些层输入具有零期望值和单位方差的预处理数据。批量梯度下降是梯度下降的一种实现方式，每次迭代都会扫描整个训练样本，然后才更改模型权重。

批量归一化从根本上影响神经网络训练过程，它降低了损失函数的Lipschitz常数，使梯度更具Lipschitz性，即损失函数会有更好的平滑性。但批量归一化考虑的是与激活相关的Lipschitz常数，而非优化器直接更改的权重。为直接优化权重，使用了权重标准化方法。其思想是校准卷积层中的权重以平滑训练过程，无需担心从激活传递平滑效果到权重。权重标准化的目的是加速神经网络训练，与批量归一化类似，但在训练时无需大量批次。

权重标准化的具体操作如下：
考虑一个偏置为零的标准卷积层：
[y = W’ * x]
其中 (W’ \in R^{O×l}) 表示层中的权重，* 是卷积运算符。在权重标准化方法中，不是直接优化初始权重 (W’) 的损失函数 (L)，而是将权重 (W’) 重新参数化为 (W) 的函数，即 (W’ = W S(W))，并通过随机梯度下降方法优化关于 (W) 的损失函数 (L)：
[W’ = \left{\begin{array}{l}W_{i,j}’ = \frac{W_{i,j}-\mu_{w_{i,.}}}{\sigma_{w_{i,.}} + \varepsilon}\end{array}\right}, y = W’ * x]
其中
[\mu_{w_{i,.}} = \frac{1}{I}\sum_{j = 1}^{I}W_{i,j}, \sigma_{w_{i,.}} = \sqrt{\frac{1}{I}\sum_{i = 1}^{I}(W_{i,j}-\mu_{w_{i,.}})^2}]

与批量归一化类似，权重标准化会分别调整卷积层中每个输出层权重的一阶和二阶矩。它以微分方式归一化权重，以在反向传播期间归一化梯度。需要注意的是，不会对 (W’) 应用仿射变换，因为研究表明使用仿射变换会损害训练。

4. 使用Yolact进行图像分割

YOLACT架构的主要思想是在现有的一阶段模型中添加一个掩码分支来解决分割任务，类似于为Faster R - CNN添加Mask R - CNN，但无需显式的函数定位步骤。为此，将分割任务分为两个更简单的并行任务，其结果可以组合形成最终掩码。

第一个分支使用全卷积网络（FCN）创建一组与图像大小匹配的原型掩码，这些掩码不依赖于任何检测到的对象实例。第二个分支添加到目标检测分支，为每个锚点预测一个掩码系数向量，该向量编码了实例在原型空间中的表示。最后，对于在非极大值抑制（NMS）中幸存的每个实例，通过两个分支的线性组合创建该实例的掩码。

训练模型使用了三个损失函数：分类损失（(L_{cls})）、边界框回归损失（(L_{box})）和掩码损失（(L_{mask})），权重分别为1、1.5和6.125。(L_{cls}) 和 (L_{box}) 的定义与相关研究类似，计算 (L_{mask}) 时使用了获得的掩码（(M)）与真实掩码（(M_{gt})）之间的像素二元交叉熵（(BCE)），即 (L_{mask} = BCE(M; M_{gt}))。使用的骨干网络是ResNet - 101，图像的基本大小为800×800像素。训练回归器使用平滑 - L1损失函数，分类使用softmax交叉熵。权重标准化与组归一化一起应用于骨干网络ResNet - 101的卷积层，即修改了PyTorch框架的标准2D卷积操作。

5. 实验及结果

训练了两个YOLACT网络：经典网络和使用权重标准化的网络。训练目标是识别21类电商对象，包括模特（全身人像）、鞋子（四类）、衣服（五类）、食品（五类）、化妆品（五类）和背景类。使用NVIDIA T4 GPU，批次大小为2，研究发现这个批次大小足以使用权重标准化。使用权重标准化的训练耗时5天，而不使用权重标准化达到相同结果需要8天，这表明权重标准化使训练过程加速了1.6倍。在神经网络训练的前向传播过程中，权重标准化应用于卷积层，使对象分类平均提高了3%，目标检测提高了4%。

以下是经典YOLACT和使用权重标准化的YOLACT的评估结果对比表格：
| 方法 | FPS | AP | AP50 | AP75 | APS | APM | APL |
| — | — | — | — | — | — | — | — |
| YOLACT | 28.3 | 33.7 | 53.5 | 35.9 | 17.2 | 35.6 | 45.7 |
| YOLACT with weight standardization | 28.3 | 36.8 | 59.2 | 38.2 | 22.4 | 37.2 | 47.2 |

从表格可以看出，使用权重标准化后，各项平均精度指标都有明显提升。

6. 防水膜可靠性分析相关背景

土木工程系统的开发伴随着不确定性和风险，在设计和施工阶段都难以预见。可靠性问题（稳定性、耐久性和刚性）在工程设计中一直是重要考量，同时在施工后的维护和监测中，也需要对风险有定量的理解。

随着新材料的出现，建筑原理得到简化，但如何评估其可靠性成为新问题。例如，屋顶的防水隔离可以减少能量损失，但防水系统一旦出现划痕和裂缝，就会导致水渗入结构内部，降低整个建筑的可靠性。目前的实验研究方法，如热成像调查或数字图像电子分析，虽然能识别防水层的问题，但最终分析需要专家完成，人为因素降低了分析的可靠性。

同时，随着信息技术的发展，土木工程中创建的对象基于详细的信息模型，会产生大量异构信息，传统的统计推断方法难以处理热成像图片或数字图像中的非结构化信息。因此，使用人工智能算法成为更好的选择，它可以实时发现和分类早期隐藏故障，并评估建筑的可靠性。

7. 防水膜可靠性分析方法

基于CNN架构和结合K折交叉验证与合成数据集增强的混合技术，提出的方法通过对像素图像强度进行连续变换，来查找和分类防水膜表面的受损片段。引入了“置信域”可靠性指标来分析防水膜的进一步行为。

该方法的具体步骤如下：
1. 数据准备 ：收集包含真实和人工生成的防水膜图像的增强数据集。
2. 模型构建 ：使用CNN架构构建深度学习模型。
3. 训练模型 ：结合K折交叉验证和合成数据集增强技术对模型进行训练。
4. 故障识别与分类 ：利用训练好的模型实时识别、分类防水膜表面的缺陷。
5. 可靠性评估 ：使用“置信域”可靠性指标评估防水膜的可靠性。

通过计算实验表明，该方法可以在接近实时的情况下成功应用，提高处理能力，通过部署基于人工智能的自动化嵌入式设备现场操作，消除人为错误因素，得到确定性结果。

综上所述，电商图像分割中基于权重标准化的方法有效加速了神经网络训练，提高了分类和检测精度；而防水膜可靠性分析的深度学习算法为土木工程中的风险评估提供了更可靠的解决方案，具有重要的实际应用价值。未来可以进一步探索这些方法在更多领域的应用和优化。

电商图像分割中基于权重标准化的神经网络训练加速及防水膜可靠性分析

8. 两种研究的对比与总结

从表格中可以看出，两项研究虽然应用场景不同，但都利用了先进的深度学习技术来解决实际问题。电商图像分割侧重于提高神经网络训练效率和识别精度，而防水膜可靠性分析则更注重实时性和消除人为因素的干扰。

9. 技术应用拓展

这两项研究的技术成果具有广泛的应用拓展潜力。以下是一些可能的拓展方向：
- 电商图像分割技术拓展
- 多领域图像分割 ：可以将基于权重标准化的YOLACT方法应用到其他领域的图像分割任务中，如医学图像分割、卫星图像分割等。不同领域的图像虽然特点不同，但分割的基本原理相似，该方法有望提高这些领域的分割效率和精度。
- 增强现实（AR）和虚拟现实（VR） ：在AR和VR应用中，准确的图像分割可以为虚拟元素与真实场景的融合提供更好的支持。例如，在电商的AR试穿功能中，更精确的图像分割可以让虚拟服装更好地贴合人体，提升用户体验。
- 防水膜可靠性分析技术拓展
- 其他建筑材料检测 ：CNN架构和混合技术可以应用到其他建筑材料的缺陷检测中，如混凝土结构的裂缝检测、钢材的表面缺陷检测等。通过对不同材料的图像进行分析，能够及时发现潜在的安全隐患。
- 工业设备监测 ：在工业生产中，许多设备的表面也可能出现类似防水膜的缺陷问题。将该方法应用到工业设备的监测中，可以实现实时故障预警，提高设备的可靠性和生产效率。

10. 未来研究展望

为了进一步提升这两项研究的效果和应用范围，未来可以从以下几个方面进行深入研究：
- 算法优化
- 电商图像分割 ：可以探索更先进的权重标准化方法或与其他优化算法相结合，进一步提高训练速度和识别精度。例如，研究自适应的权重标准化策略，根据不同的数据集和任务自动调整标准化参数。
- 防水膜可靠性分析 ：对CNN架构进行改进，如引入注意力机制，增强模型对关键特征的关注，提高缺陷识别的准确性。同时，优化K折交叉验证和合成数据集增强技术，使模型在不同场景下都能有更好的泛化能力。
- 数据融合
- 结合更多类型的数据，如电商图像分割中可以结合商品的文本信息、用户的浏览行为数据等，为图像分割和商品推荐提供更丰富的信息。在防水膜可靠性分析中，可以融合传感器数据，如温度、湿度等，更全面地评估防水膜的性能。
- 跨领域合作
- 促进电商图像分割和防水膜可靠性分析等不同领域的研究人员之间的合作，分享技术经验和数据资源。通过跨领域的碰撞，可能会产生新的研究思路和方法，推动深度学习技术在更多领域的应用。

以下是未来研究展望的mermaid流程图：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px

    A(未来研究展望):::process --> B(算法优化):::process
    A --> C(数据融合):::process
    A --> D(跨领域合作):::process
    B --> B1(电商图像分割算法优化):::process
    B --> B2(防水膜可靠性分析算法优化):::process
    C --> C1(电商图像多类型数据融合):::process
    C --> C2(防水膜多类型数据融合):::process
    D --> D1(不同领域研究人员合作):::process

综上所述，电商图像分割中基于权重标准化的神经网络训练加速方法和防水膜可靠性分析的深度学习算法都具有重要的研究价值和实际应用意义。通过不断地优化算法、融合数据和开展跨领域合作，这些技术将在更多领域发挥更大的作用，为解决实际问题提供更有效的解决方案。