中山大学提出ConsisLoRA：革新风格迁移技术，解决内容一致性与风格对齐难题！

🌐 社群导航

🔗 点击加入➡️【AIGC/LLM/MLLM/3D/自动驾驶】 技术交流群

🔗 点击加入➡️【2-3月CCF投稿】交流群

最新论文解读系列

论文名：ConsisLoRA: Enhancing Content and Style Consistency for LoRA-based Style Transfer             

论文链接：https://arxiv.org/pdf/2503.10614 

开源代码：https://consislora.github.io 

导读

风格迁移是指将参考图像的风格迁移到目标图像的内容上。最近基于LoRA（低秩自适应）的方法在有效捕捉单张图像的风格方面显示出了潜力。然而，这些方法仍然面临着显著的挑战，如内容不一致、风格不对齐和内容泄漏等问题。在本文中，我们全面分析了标准扩散参数化（学习预测噪声）在风格迁移背景下的局限性。为了解决这些问题，我们引入了ConsisLoRA，这是一种基于LoRA的方法，通过优化LoRA权重来预测原始图像而非噪声，从而增强内容和风格的一致性。我们还提出了一种两步训练策略，将从参考图像中学习内容和风格的过程解耦。为了有效捕捉内容图像的全局结构和局部细节，我们引入了一种逐步损失过渡策略。此外，我们还提出了一种推理引导方法，能够在推理过程中对内容和风格强度进行连续控制。通过定性和定量评估，我们的方法在内容和风格一致性方面有显著改进，同时有效减少了内容泄漏。

简介

扩散模型已成为文本到图像合成的强大范式，在可控生成任务中取得了重大突破，包括个性化生成、图像编辑和图像风格化。尽管取得了这些进展，但由于风格本质上的复杂性和不确定性，风格迁移仍然具有挑战性。风格迁移的目标是将内容图像转换为与风格参考图像的期望风格相匹配。

预备知识

潜在扩散模型。潜在扩散模型（LDM）利用自动编码器来提供低维潜在空间。编码器将图像映射到潜在表示，解码器从该潜在表示中重建图像，即。去噪扩散概率模型（DDPM）用于在自动编码器的潜在空间内训练模型。