专注计算机视觉全栈知识分享

本文提出了 SaRA，一种新颖的参数高效微调方法，该方法充分利用了预训练模型中绝对值最小的无效参数。作者提出了一种基于核范数的低秩损失，以约束学习到的稀疏矩阵的秩，从而避免模型过拟合。此外，设计了一种渐进式参数调整策略，进一步提高了微调参数的有效性。最后，提出了一种新型的非结构化反向传播方法，大大节省了参数微调过程中的内存开销。大量实验证明了本文方法的有效性，它在保持预训练模型的先验信息的同时，实现了最佳的拟合能力。

CatVTON 重新思考和设计了基于扩散模型的虚拟试穿框架，将多任务、多品类的虚拟试衣集成到同一模型中，以轻量化的框架和参数高效的训练策略实现了 SOTA 的试穿效果，降低了模型的训练、推理计算需求，推动了虚拟试衣模型走向落地与应用。如果你对本文有任何的观点或疑问，欢迎评论区下方留言讨论。同时也欢迎对前沿AI技术感兴趣的同学扫添加微信好友: cv_huber，备注“交流学习”即可。

本文提出了当前使用基于扩散模型的生成数据来进行数据增强在多大程度上是有效的。在ImageNet分类任务中，本文表明可以利用大规模的文本生成模型fine-tuning得到SOTA FID（256×256分辨率下为1.76）和Inception Score（256×256分辨率下为239），此外还证明了这种生成模型的新CAS SOTA（256×256模型为64.96，增强到1024×1024生成样本时为69.24）也有助于提高ResNet和Transformer等多种模型的ImageNet分类准确性。