图像分析学习笔记（7）：图像生成

自然图像的流形

• 线性降维：3D->2D， 与一维情况类似，将数据拟合到平面，并转换坐标系，使平面成为 x-y 平面 平面拟合（“Plane fitting”） 只需要为每个点（和平面参数）存储两个数字 更一般地说：寻找最适合数据的 2D 子空间，并忽略其余维度
• 主成分分析：根据数据沿每个轴的变化程度来查找正交轴并对其进行排序。
• 自编码器：编码器（Encoder）：将非线性（深度网络）变换为低维空间 解码器（Decoder） ：低维空间到原始内容的转换 损失函数约束输入和输出之间的差异 无监督-无需标签 自动编码器试图学习某个流形上的可逆变换
• 所有图像空间：大多数图像都是“噪点” “有意义”的图像倾向于在所有图像的空间内形成一些流形 特定类的图像落在该流形内的流形上
• 零空间：自动编码器试图针对某些流形上的数据实现可逆的降维，同时使得大多数噪声位于图像空间的不可逆部分（流形外）

图生图方法

• 图像预测
• 损失函数：选择位于流形上的图像

图像结合方法

• GANs(Generative Adversarial Networks)
  • 生成器网络的结构与自编码器的解码器相似
  • 以对抗性的方式训练对抗鉴别器网络
• Conditional GANs
  • 从条件分布生成样本
  • 生成器G 试图合成假图像来欺骗鉴别器D
  • 鉴别器D 试图辨别其中假的图片
  • 生成器G 试图合成假图像来欺骗鉴别器D:$$arg\max E_{x,y}\left[\log D(G(x))+\log (1-D(y))\right]$$
  • 生成器G 试图合成假图像来欺骗最佳的鉴别器D :$$arg\underset{G}{\min }\underset{D}{\max }{E}_{x,y}\left[\log D(G(x))+\log (1-D(y))\right]$$
• 图像合成的例子
  • 有成对的训练图像
  • BW-COLOR
  • LABELS-STREET VIEWS
  • DAY-NIGHT
  • EDGES-IMAGES
  • Image Inpainting
  • Pose-guided Generation
• 挑战及解决方案
  • 输出是高维结构化对象-方法:使用深度网络 D 来分析输出
  • 映射的不确定性;许多合理的输出-方法: D只关心“合理性

扩散模型

上述无条件模型必须按类别进行训练：为每个类别都有一个单独的模型——动物脸的模型、西兰花的模型等…如果我们想从任何描述中生成图像怎么办：扩散和文本到图像模