【Datawhale AI夏令营第四期】魔搭-AIGC方向 Task03笔记原神风格Lora尝试 ComfyUI Lora微调补充选学内容

原创

已于 2024-08-31 14:35:02 修改 · 1.6k 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #AIGC #笔记

于 2024-08-16 11:48:28 首次发布

【Datawhale AI夏令营第四期】魔搭-AIGC方向 Task03笔记原神风格Lora尝试 ComfyUI Lora微调

首先我们继续推进网课进度。
https://space.bilibili.com/1069874770
传送门

WorldArt锦书产品介绍：

我属实是没想到这个产品居然还可以用作遗迹鉴定和名家笔记仿写这样的用途。
在这里插入图片描述

这些工作主要是针对英文字母在做变形，因为中文比较复杂，不适合整体变形。
同时还要配合后处理：

WordArt中文象形文字数据集：对单个汉字引入其意象进行变形。

从来没听说过的新奇数据集，有意思。在这里插入图片描述
而且支持多语言文字变形，几乎囊括了东亚所有文体：这样感觉设计Logo会很方便，之前b站上我也刷到过一些教字体设计的短视频，很多需要把字的一部分用来变形或者抽象操作。
这里针对中文的变形还是局部变形效果比较好，因为中文比较复杂，整个全变了效果就比较差了。在这里插入图片描述

文字仿写：相同风格文字扩充

名家的历史真迹可能样本很少，可以通过文字仿写来进行相同风格文字的扩充。
在这里插入图片描述
diffusion出来之前：GAN-based

文字纹理：

之前跟文字纹理相关的主要是纹理迁移的工作。
在这里插入图片描述
这里讲到ControlNet了，可以用不同的条件来进行控制。
三个主要难点：

文字分割：分割出带有透明通道的文字图片。

锦书体验页面：

https://www.modelscope.cn/studios/WordArt/WordArt
传送门

我玩了一下，是我打开方式不对吗？这啥啊？？？在这里插入图片描述
个性字体：基于用户少量的手写字，来为用户生成一个完整的字体集。
需要按照模板在纸上写字然后拍照上传。

耗时比较久，15分钟以上。我自己写了一段狂草测试，他报错了……

这次效果好多了：在这里插入图片描述

创意文字生成这个栏，如果勾选了改变形状，就是变形+纹理的级联（结合？）；没有勾的话就只是文字纹理。

新春对联这个功能看着挺有意思，可以用名家字体写对联，也可以用自己的DIY字体来写对联。在这里插入图片描述
然而这个功能现在好像没有了……

课后作业：

文字变形代码：
https://modelscope.cn/models/jyhe21/wordart_designer
文字纹理代码：
https://modelscope.cn/models/MorningsunLee/cv_sd_wordart-texttypo
在这里插入图片描述

虽然但是，我有点不明白，我该咋玩？我复制了链接里面的示例代码到新的实例里面跑，但是他报错说缺文件？？？

我暂时还没找到解决办法，先暂时搁置一下。

如果一个图像满足一个特定的人物风格和特定的人物ID，就可以认为是比较美和像。在这里插入图片描述

当前大部分的人像写真工作都是基于线上训练的微调。

**加粗样式**

图生图人任务，这个也很神奇，为什么就能精准控制换脸呢？

FaceChain-Fact项目

高阶选项：实现进阶功能，比如姿态变化。