17、建筑昼夜场景转换技术详解

建筑昼夜场景转换技术详解

1 相关研究

1.1 色彩转移研究概述

色彩转移是一个广泛的研究领域，涵盖了将色彩转移到灰度图像或彩色源图像等方面。早期的研究主要集中在灰度图像的着色上，依赖用户勾勒相似区域，让计算机填充不同颜色。近年来，基于学习的算法出现，通过从大量数据集中学习图像统计信息（像素分布）来自动实现灰度图像的着色，这进一步启发了将色度从一个图像转移到另一个具有相似图像统计信息的图像的方法。然而，除了色度，亮度也对图像的外观有很大影响。因此，有学者提出了一种可行的方法，用于在彩色图像对之间同时转移亮度和色度。

1.2 图像特征提取

特征提取在机器学习中是一个经过深入研究的问题，它对图像处理中目标识别的准确性有很大影响，而更好的目标识别能带来处理图像对之间更好的语义对应。如果源图像 S 的内容与参考图像 R 能很好地对应，例如 S 中的建筑物对应 R 中的建筑物，S 中的天空对应 R 中的天空等，那么从 R 到 S 转移色度和亮度会更加准确和自然。

许多特征提取技术经过多年积累，如独立成分分析、核主成分分析和自编码器等。为了提高效率和准确性，有学者尝试应用预训练的深度学习模型 VGG19 来解决特征提取问题。VGG19 是一个卷积神经网络（CNN），在 ImageNet 数据库的超过一百万张图像上进行了训练，能够将图像分类为 1000 个目标类别。

通过将图像对输入到预训练的 VGG19 模型进行目标识别，可以节省时间和计算资源，实现有效的特征提取。应用 VGG19 到源图像 S 和参考图像 R 后，可以从不同层提取它们的特征图。在层 L 处，S 和 R 的特征图分别定义为 $F^L_S$ 和 $F^L_R$