40、基于深度多任务生成对抗网络的人脸补全与透明物体抓取研究

基于深度多任务生成对抗网络的人脸补全与透明物体抓取研究

在计算机视觉领域，人脸补全和透明物体抓取是两个具有挑战性的任务。前者旨在恢复图像中缺失的人脸部分，后者则致力于让机器人准确抓取透明物体。下面将详细介绍相关的方法和实验结果。

深度多任务生成对抗网络用于人脸补全

• 特征提取与图像补全 ：从GlobalNet中提取特征，并将高层特征传递到低层，使浅层能够学习到包含高频细节的丰富特征，同时从深层获得语义理解，以粗到细的方式预测缺失内容。在图像补全过程中，将深层共享的特征和当前层学习到的特征通过拼接层组合，用于预测当前层的补全图像。这样做的原因是，高层的粗略补全结果能让低层学习到额外的高频细节和空间信息，从而优化高层的结果。
• 判别网络（DiscriminationNet） ：用于判断输入图像是否为真实图像。它训练两个上下文判别器，一个以整个补全图像为输入，另一个以随机选取的64×64像素的图像块为输入。两个判别器的输出都是1024维向量，通过拼接层组合成2048维向量，再经过全连接层和sigmoid函数转换为[0, 1]范围内的值，表示输入图像为真实或补全的概率。

• 损失函数

  • 检测损失（Detection Loss） ：DetectionNet的目标是学习一个区域掩码$\hat{M} x$，表示哪些区域需要补全。检测损失函数定义为：$\ell {det}(\hat{M} x, M_x; \theta_d) = \fr