第十八章：Auto-DeepLab:用于语义图像分割的层次化神经架构搜索

&原文信息

原文题目：《Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation》

原文引用：Liu C, Chen L C, Schroff F, et al. Auto-deeplab: Hierarchical neural architecture search for semantic image segmentation[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019: 82-92.

原文链接：https://openaccess.thecvf.com/content_CVPR_2019/papers/Liu_Auto-DeepLab_Hierarchical_Neural_Architecture_Search_for_Semantic_Image_Segmentation_CVPR_2019_paper.pdfhttps://openaccess.thecvf.com/content_CVPR_2019/papers/Liu_Auto-DeepLab_Hierarchical_Neural_Architecture_Search_for_Semantic_Image_Segmentation_CVPR_2019_paper.pdf

0.摘要

        最近，神经架构搜索（NAS）已经成功地识别出在大规模图像分类任务上超越人工设计的神经网络架构。在本文中，我们研究了NAS在语义图像分割任务中的应用。现有的工作通常集中在搜索可重复的基本单元结构，而手动设计控制空间分辨率变化的外部网络结构。这种选择简化了搜索空间，但对于密集图像预测任务来说，网络级别的架构变化更加复杂。因此，我们提出了在基本单元结构之外搜索网络级别结构的方法，形成了一个分层的架构搜索空间。我们提出了一个包含许多流行设计的网络级别搜索空间，并开发了一种有效的基于梯度的架构搜索方法（在Cityscapes图像上使用了3个P100 GPU天的计算资源）。我们在具有挑战性的Cityscapes、PASCAL VOC 2012和ADE20K数据集上展示了所提出方法的有效性。我们的架构搜索方法Auto-DeepLab在语义图像分割任务中达到了最先进的性能，而且没有进行任何ImageNet预训练。

1.引言

        深度神经网络已经在各种人工智能任务中取得了成功，包括图像识别 [38,25]、语音识别 [27]、机器翻译 [73,81]等。尽管更好的优化器 [36]和更好的归一化技术 [32,80]在其中起到了重要作用，但很多进展都来自于神经网络架构的设计。在计算机视觉领域，这对于图像分类 [38,72,75,76,74,25,85,31,30]和密集图像预测 [16,51,7,64,56,55]都是成立的。最近，在AutoML和普及人工智能的精神下，设计自动化神经网络架构的兴趣日益增加，而不是过分依赖专家经验和知识。重要的是，在过去的一年中，神经架构搜索（NAS）已经成功地在大规模图像分类问题上识别出了超过人工设计的架构 [93,47,62]。

        图像分类是神经架构搜索（NAS）的一个很好的起点，因为它是最基础且研究最充分的高级识别任务。此外，存在着一些基准数据集（如CIFAR-10），其图像相对较小，从而导致计算量较小，训练速度较快。然而，图像分类不应该是NAS的终点，当前的成功显示了将其扩展到更具挑战性领域的潜力。在本文中，我们研究了用于语义图像分割的神经架构搜索，这是一个重要的计算机视觉任务，它为输入图像中的每个像素分配类似于“人”或“自行车”的标签。简单地从图像分类中移植想法并不足以满足语义分割的要求。在图像分类中，NAS通常将从低分辨率图像到高分辨率图像的迁移学习应用于NAS [93]，而用于语义分割的最佳架构必须在高分辨率图像上运行。这表明需要：

        （1）更宽松和更一般的搜索空间，以捕捉较高分辨率图像带来的架构变化，以及

        （2）更高效的架构搜索技术，因为更高的分辨率需要更多的计算量。

        我们注意到现代的卷积神经网络设计 [25,85,31]通常遵循一个两级层次结构，其中外部网络级别控制空间分辨率的变化，内部单元级别控制具体的逐层计算。目前绝大多数关于NAS的研究 [93,47,62,59,49]也遵循这种两级层次设计，但只自动搜索内部单元级别，而手动设计外部网络级别。然而，这种有限的搜索空间对于密集图像预测问题是有问题的，因为它对空间分辨率的变化非常敏感。因此，在我们的工作中，我们提出了一个像格子一样的网络级别搜索空间，将最初在 [93]中提出的常用单元级别搜索空间进行扩展，形成了一个分层的架构搜索空间。我们的目标是共同学习可重复的单元结构和网络结构的良好组合，特别适用于语义图像分割任务。

        就架构搜索方法而言，强化学习 [92, 93]和进化算法