【AIGC】AI生图技术（Datawhale X 魔搭 AI夏令营）

最新推荐文章于 2025-10-31 10:07:04 发布

原创

最新推荐文章于 2025-10-31 10:07:04 发布 · 1k 阅读

29 ·

CC 4.0 BY-SA版权

文章标签：

#AIGC #人工智能

AI生图技术，即利用人工智能（AI）技术生成图像的方法，近年来在图像处理、计算机视觉、图像识别等领域取得了显著进展。

前言

AI生图技术在图像处理、计算机视觉等领域具有广泛的应用前景和强大的能力，但同时也存在生成图像质量、技术局限性、缺乏创造力和原创性等方面的局限。

一、AI生图技术的能力&局限

AI生图技术的能力

高效生成高质量图像：
- AI生图技术通过训练神经网络，能够自动生成具有高分辨率、高保真度和高度逼真的图像。这种能力使得AI在图像处理、图像识别等领域具有广泛应用前景。
- 相较于传统的手工绘画或摄影，AI生图技术能够大大缩短图像制作的时间周期，同时降低人力成本。
多样化的应用场景：
- AI生图技术可以应用于游戏开发，生成游戏角色和场景，提高游戏画面的质量和逼真度。
- 在电影特效和修复方面，AI可以生成逼真的特效效果，并修复老电影和老照片中的缺陷和损伤。
- 在艺术创作领域，AI生图技术可以为艺术家提供更多的创作灵感和素材，甚至自动生成具有艺术价值的图像。
- AI生图还可用于医学图像处理、卫星图像处理、广告素材生成、产品展示、社交媒体创作和营销等多个领域。
数据增强和模型测试：
- AI生成图像可以用于数据增强，通过生成多样性的图像来扩充训练数据集，提高模型的泛化能力和鲁棒性。
- AI生成的图像也可以用于模型测试，评估模型的鲁棒性和泛化能力。
模型迁移和知识迁移：
- AI生图技术还可以实现模型迁移，将一个模型的知识迁移到另一个模型中，从而加速模型训练过程，提高模型的精度和效果。

AI生图技术的局限

生成图像的质量问题：
- 尽管AI生图技术已经取得了显著进展，但生成的图像质量仍然无法完全超越人类画师。AI生成的图像可能存在构图单一、缺乏焦点、人物表情单一呆板、画面质感模糊、内容同质化等问题。
- 这些问题部分源于AI自身难以用少量样本学习特定风格，以及难以产出合适的设计方案并直接生成可利用的图片。
技术局限性：
- 当前的生成式技术在生成高品质的长文本、图像和视频方面仍存在一定难度。这主要是由于算法局限或数据不足导致的。
- AI生图技术依赖于大量的训练数据和优秀的神经网络结构，才能生成高质量的图像。数据不足或质量不高可能导致生成效果不佳。
缺乏创造力和原创性：
- AI生成的图像主要基于预训练模型进行模仿和生成，缺乏真正的创造力和原创性。这使得生成的图像在创意和个性化方面存在不足。
- 艺术家和设计师在创作过程中通常会进行复杂的思考、设计和编排，而AI目前还难以完全模拟这一过程。
版权和知识产权问题：
- AI生成的图像是否具有版权和知识产权是一个复杂的问题。如果生成的图像与已有的版权作品相似度较高，可能会涉及版权侵权问题。
- 在使用AI生成的图像时，需要注意保护他人的知识产权，并遵守相关的法律法规和版权协议。

二、精读baseline——从零入门AI生图

1.逐行代码及注释

# 安装 Data-Juicer 和 DiffSynth-Studio
!pip install simple-aesthetics-predictor # 安装simple-aesthetics-predictor
!pip install -v -e data-juicer # 安装data-juicer
!pip uninstall pytorch-lightning -y # 卸载pytorch-lightning
!pip install peft lightning pandas torchvision # 安装 peft lightning pandas torchvision
!pip install -e DiffSynth-Studio # 安装DiffSynth-Studio

# 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime
from modelscope.msdatasets import MsDataset  #引入数据集模块msdatasets
ds = MsDataset.load(
    'AI-ModelScope/lowres_anime',
    subset_name='default',
    split='tr