QAI AppBuilder 快速上手(3): 图像修复应用实例1

AOTGAN（Aggregated Contextual Transformations for High-Resolution Image Inpainting）是一种基于注意力机制的生成对抗网络（GAN）模型，主要用于图像修复任务。它通过聚合不同膨胀率的空洞卷积学习到的图片特征，能够更加精确地修复图像中的损坏部分，保持修复区域的清晰度和自然性。AOTGAN 的生成器利用注意力机制，动态地关注图像中需要修复的部分，从而提高修复效果；判别器则判断生成的图像是真实的还是伪造的，通过与生成器的对抗训练，不断优化生成器的性能。AOTGAN 的应用场景包括修复老旧照片、去除图像中的划痕或污点，以及艺术创作等。

本文章主要介绍使用 AOTGAN 模型进行图像修复，如何配置 AI Engine Direct Helper 工具及环境。包括了准备需要修复的图像数据，加载预训练的 AOTGAN 模型权重，运行示例代码进行图像修复，查看修复后的图像效果等步骤。通过这些步骤，可以更加熟悉地使用 AOTGAN 模型并进行图像修复工作。

前置条件

• 高通 Windows on Snapdragon
• 各平台账号，包括：Github、高通 Software Center

操作方法及步骤

1. 快捷使用AOTGAN

• 执行前准备

确保在设备中已经搭建好对应的Python及QNN环境，具体方法请参考：AI-Engine-Direct-Helper 快速上手(1)：环境配置

• 打开Powershell终端，在Python虚拟环境中执行以下命令：

python Aotgan\aotgan.py

mask图像数据是一种二值图像，其中白色区域表示需要修复的部分，黑色区域表示不需要修复的部分。模型通过mask图像来确定哪些区域需要进行填补和修复，从而生成完整的图像。

• 结果前后对比：

2. 手动配置运行AOTGAN模型

• 环境准备

确保在设备中已经搭建好对应的Python及QNN环境，具体方法请参考：AI-Engine-Direct-Helper 快速上手及环境配置

• 将安装好的QNN SDK 中的 QNN 库复制到qai_libs目录中

qai_libs\libQnnHtpV73Skel.so
qai_libs\QnnHtp.dll
qai_libs\QnnHtpV73Stub.dll
qai_libs\QnnSystem.dll
qai_libs\libqnnhtpv73.cat

• 下载 aotgan模型：

https://huggingface.co/qualcomm/AOT-GAN/tree/main

下载模型后，复制到models目录中

models\aotgan.bin

• 从以下链接下载示例代码：

https://github.com/quic/ai-engine-direct-helper/blob/main/Samples/aotgan/aotgan.py

下载示例代码后，将其复制到工作目录根目录

• 将示例图像和掩码数据复制到工作目录

准备好所有文件后，整体结构如下：

• 运行示例代码

python aotgan.py

其实，该脚本代码中也涵盖了全部的运行流程，下载模型流程也是包括在内，如希望使用自己下载或转换处理的模型进行操作，则需要把模型提前放到models中即可。在准备好模型后，脚本将不会执行下载操作。示例如下：

• 运行结果（输出图像将保存为out.png）

            

3. 使用AOTGAN模型GUI

• 上述方法中，均使用的是固定掩码示例输入方式，如需使用GUI方式自定义掩码输入，可参考：基于AOTGAN的图片修复

作者：

赵世朝（Shizhao Zhao），高通工程师