【Datawhale X 魔搭 AI夏令营】AIGC

lmever

已于 2024-08-11 23:53:48 修改

阅读量971

点赞数 7

CC 4.0 BY-SA版权

文章标签： AIGC 人工智能

于 2024-08-11 22:01:15 首次发布

本文链接：https://blog.youkuaiyun.com/lmever/article/details/141112713

文章目录

文生图历史简介

文生图历史简介

（规则和模板匹配）-> （概率图模型和统计语言模型）-> (卷积神经网络和生成对抗网络)

LoRA模型

Stable Diffusion中的Lora（LoRA）模型是一种轻量级的微调方法，它代表了“Low-Rank Adaptation”，即低秩适应。Lora不是指单一的具体模型，而是指一类通过特定微调技术应用于基础模型的扩展应用。在Stable Diffusion这一文本到图像合成模型的框架下，Lora被用来对预训练好的大模型进行针对性优化，以实现对特定主题、风格或任务的精细化控制。

下载文件

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git

所需环境

!pip install simple-aesthetics-predictor
!pip install -v -e data-juicer
!pip uninstall pytorch-lightning -y
!pip install peft lightning pandas torchvision
!pip install -e DiffSynth-Studio

Prompt工程

torch.manual_seed(0)
image = pipe(
    prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙",
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度",
    cfg_scale=4,
    num_inference_steps=50, height=1024, width=1024,
)
image.save("1.jpg")

这边我们会发现有prompt和negative_prompt, 那么negative prompt的作用是什么呢？

Prompt是稳定扩散模型中的一个重要参数，它代表了模型需要输出的内容的起始部分。通过调整Prompt，可以影响模型的输出。然而，Prompt也面临着一些问题，例如难以找到一个合适的Prompt来描述复杂的输出内容。
Negative Prompt是针对Prompt提出的一种改进方法，它的基本思想是利用一个负向的Prompt来抑制模型输出的某些部分，从而使得模型的输出更加符合实际需求。在Stable Diffusion中，Negative Prompt可以有效地解决输出过于发散或与期望输出差异较大的问题。

这里我们可以通过调整prompt词来修改生成的图片。（可以先预先构思一个故事场景，然后将它们拆分为几句话，使得生成的图片更有连贯性）

资源介绍

文件	简介
Data-Juicer	数据处理和转换工具，旨在简化数据的提取、转换和加载过程
DiffSynth-Studio	高效微调训练大模型工具