20、图像生成模型的微调与亚马逊Bedrock服务

图像生成模型的微调与亚马逊Bedrock服务

1. 图像生成与微调技术

1.1 Stable Diffusion与Canny边缘图

Stable Diffusion可以利用Canny边缘图生成新的图像。例如，给定一个提示“金属橙色汽车，完整的汽车，彩色照片，户外宜人风景，逼真，高质量”，可以生成符合该描述的图像。这个过程有助于生成与原始图像包含大致相同对象的新创意图像，通过ControlNet对基础图像应用控制来引导生成。

1.2 模型微调的必要性

虽然ControlNet和预训练控制功能强大，但有时需要使用特定的图像数据集直接微调扩散模型，以改善生成的图像。比如使用特定品牌的标志或产品目录等。常见的微调选项包括DreamBooth、DreamBooth与LoRA结合以及文本反转（textual inversion）。

1.3 DreamBooth

• 原理 ：DreamBooth起源于2023年的一项研究，它可以仅使用少量（三到五张）样本图像来个性化文本到图像的模型。通过输入包含要微调主题的少量样本图像，并在提示中提供主题的唯一标识符，例如使用“Molly”作为“狗”主题的唯一标识符。然后，DreamBooth使用这些输入并行微调文本到图像的扩散模型，并结合特定类别的先验保留损失，利用模型对提供类别的语义先验来创建属于该主题类别的不同实例。
• 应用场景 ：
  • 重新上下文化 ：通过DreamBooth微调后，可以创建Molly处于从未经