qq_33596242的博客

lora权重和提示词权重解析

comfyui flux模型工作流，模型下载。

训练过程和全参一样，低秩矩阵调用库peft训练的，略；

第六步：把c_cat (n,5,64,64)和latent feature (n,4,64,64) 连接起来得到网络的输入 (n,9,64,64)；第六步：根据之前文章的公式对latent feature (n,4,64,64)去燥，得到新的latent feature (n,4,64,64)；第六步：根据之前文章的公式对latent feature (n,4,64,64)去燥，得到新的latent feature (n,4,64,64)；mask img用编码器得到(n,4,64,64)；

其实就是log(1-alpha(右下角t)(头上直线))，没有带prev的都是当前时刻t，带prev的是前一时刻t-1。得到了上一刻的噪声图片x_prev后(也就是函数返回的img)，继续迭代，最终生成需要的图片。另外，还有一些参数是训练时候保存的，betas逐渐增大，用来控制噪声的强度。这部分代码应该就是PLMS加速采样用的，论文中有公式推理。