47、图像神经网络的多种应用与技术解析

图像神经网络的多种应用与技术解析

1. 实例分割

在图像分割任务中，语义分割会为每个像素分配一个标签，但不会将像素分组为对象，其输出大小与输入相同。而实例分割的目标是预测图像中每个对象实例的标签和二维形状，输出数量是可变的。我们还可以将“stuff”的语义分割和“things”的实例分割结合到一个称为“全景分割”的统一框架中。

2. 通过反转卷积神经网络生成图像

用于图像分类的卷积神经网络（CNN）是一种判别模型，形式为 (p(y|x))，它以图像为输入，输出 C 个类别标签上的概率分布。我们可以将其“反转”为条件生成图像模型 (p(x|y))，从而生成属于特定类别的图像。

2.1 将训练好的分类器转换为生成模型

我们可以使用 (p(x, y) = p(x)p(y|x)) 定义图像和标签的联合分布，其中 (p(y|x)) 是 CNN 分类器，(p(x)) 是图像的先验。当将类别标签固定为特定值时，可得到条件生成模型 (p(x|y = c) \propto p(x)p(y = c|x))。由于判别分类器 (p(y|x)) 训练时会“丢弃”信息，不是可逆函数，因此先验项 (p(x)) 在正则化过程中起着重要作用。

从该模型采样的一种方法是使用 Metropolis Hastings 算法，将 (E_c(x) = \log p(y = c|x) + \log p(x)) 作为能量函数。由于有梯度信息，可使用 (q(x’|x) = N(\mu(x), \epsilon I)) 形式的提议，其中 (\mu(x) = x + \frac{\epsilon}{2}\nabla\log E_c(x))，这称为 Metropoli