AI 虚拟换衣新体验

前言

在当今数字化时代，AI技术正以前所未有的速度改变着我们的生活和工作方式。在时尚领域，虚拟试衣技术成为了热门话题，博主今天就体验下当下最火的几个大模型， 应用场景主要在电商行业。包括：Kolors Virtual Try-On in the Wild、VITON（Virtual Try-On Network）、CP-VTON（Characteristic-Preserving Virtual Try-On Network） 。它们将先进的AI技术与时尚换装完美结合，为用户带来了全新的试衣体验，让我们一起深入了解这款创新的工具吧。

Kolors

一、项目概述

项目地址：https://huggingface.co/spaces/kwai-kolors/kolors-virtual-try-on
Kolors Virtual Try-On in the Wild是由快手团队精心打造的一款基于大模型“可图”（Kolors）的AI虚拟换衣工具。它以Kolors为底膜，简单搭建啦在线体验版。它利用前沿的计算机视觉和机器学习技术，实现了模特无痕换装的功能，能够让用户在虚拟环境中轻松尝试各种服装，仿佛身临其境般看到自己穿上不同款式服装的效果。

经过科学上网后在线体验版，简单3步就可以给心爱的模特换上自家的品牌服装：

如果不方便使用魔法，那么本地部署也很简单。

二、主要功能

• 高精度图像识别：能够准确识别用户上传图片中人物的身体尺寸和比例，为后续的服装匹配提供精确的数据基础，确保服装在虚拟试穿时能完美贴合人物身材。
• 丰富的服装数据库：涵盖了多种风格、颜色和款式的服装选择，从休闲的T恤、牛仔裤到正式的西装、晚礼服，再到时尚的潮流单品，应有尽有，满足不同用户在各种场合的着装需求。
• 实时渲染技术：用户上传图片并选择服装后，只需短短几秒钟，系统就能即时生成服装在人物身上的试穿效果，无需长时间等待，让用户能够快速看到换装后的模样，及时调整选择。
• 个性化推荐系统：根据用户的试穿记录和偏好，智能推荐可能感兴趣的服装款式，为用户提供更贴心、更个性化的服务，节省用户挑选服装的时间和精力。
• 文生图功能：支持用户输入文字描述来生成相应的服装图片，进一步拓展了用户的创意和选择空间，使用户可以根据自己的想象创造出独一无二的服装款式并进行试穿。

三、技术原理

Kolors Virtual Try-On in the Wild的核心技术在于其能够精准捕捉和理解用户的体型、姿势和风格偏好。用户上传个人照片后，系统首先通过先进的图像处理技术对图片进行分析，提取出人物的关键特征，如身体轮廓、姿势等。然后，利用大规模文本到图像生成模型，结合深度学习算法，将用户选择的服装与人物进行高度匹配和逼真呈现。在这个过程中，AI算法不仅要考虑服装的尺寸和比例，还要确保服装的图案、纹理和风格与用户的整体形象相协调。同时，通过引入衣服SKU保持网络，实现服饰细节特征的提取与表征，进一步保证了换装后的服装能保留其原有的样式、颜色、图案和文字等细节，使换装效果更加自然美观。

四、应用场景

• 在线服装零售：为电商平台提供了一种全新的用户互动方式，用户在浏览服装时可以立即看到服装的试穿效果，大大提升了购买转化率，并减少了因尺寸不合而导致的退货问题，帮助商家节省成本，提高客户满意度。
• 社交媒体和内容创作：用户可以将自己的虚拟试穿照片分享到社交媒体，吸引更多的点赞、评论和关注，增加用户的参与度和互动性。时尚博主、网红等也可以利用这款工具快速制作出吸引眼球的时尚大片和穿搭教程，为自己的内容创作增添新的元素和亮点，吸引更多粉丝的关注和喜爱。
• 时尚品牌推广：品牌可以通过该技术进行新品发布和推广活动，用户在虚拟试穿的过程中可以更直观地感受到新品的设计特点和穿搭效果，从而提高品牌知名度和产品销量，同时也可以收集用户的反馈和意见，为产品的优化和改进提供参考。
• 虚拟时装秀：品牌可以利用这项技术在虚拟环境中举办时装秀，展示最新设计，吸引全球观众的关注，不受时间和空间的限制，降低了举办实体时装秀的成本和风险，同时也为观众带来了全新的视觉体验。

五、ComfyUi+kolors

• 上传模特图片：首先，准备一张高质量的模特图片，确保模特的姿势自然、表情生动。将图片上传至Kolors Virtual Try-On in the Wild的界面中，等待系统加载完成。
• 选择心仪服装：从自带的服装库中挑选心仪的款式，或者上传自己的服装图片进行尝试。服装库中的服装种类繁多，涵盖了各种风格和场合的着装，用户可以根据自己的喜好和需求进行选择。
• 一键换装，见证奇迹：当模特图片和服装都准备就绪后，点击“run”按钮开始换装。只需几秒钟的时间，就能看到模特身上的衣物瞬间变成了选择的款式，而且贴合度极高，几乎看不出任何破绽。新服装的色调会随背景变化而自动调整，确保整体画面的和谐统一。
  资源包下载
  【全部资料合集】

https://ks8pfx9qgr.feishu.cn/docx/RS0PdamoIoU4z4xri45cORIwnjb?from=from_copylink

【课件资料】夸克：https://pan.quark.cn/s/297400bfdc65

【课件资料】百盘：链接：https://pan.baidu.com/s/1h62FnybrBwHr38Lx0VITiQ?pwd=t19r
提取码：t19r

工作流下载链接：https://www.liblib.art/modelinfo/177081447e374e1e8909b1e5e0fe8841?from=search

博主使用的是秋叶大佬的comfyui启动器。

下载ComfyUI-Kolors-MZ

https://github.com/MinusZoneAI/ComfyUI-Kolors-MZ

下载模型

其中chatGLM3模型，根据自身硬件选择

第二种安装方式，比较方面

安装插件ComfyUI-KwaiKolorsWrapper

下载模型

G:\ai\ComfyUI-aki\ComfyUI-aki-v1.6>python\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-KwaiKolorsWrapper\requirements.txt

下载工作流
https://github.com/kijai/ComfyUI-KwaiKolorsWrapper/tree/main/examples

启动comfyui，并把kolor_example.json加载到控制台，点击运行， 会自动下载ComfyUI-KwaiKolorsWrapper需要的模型，并保存到models\diffusers\Kolors


过程中可能会确实文件， 对应的手动下载即可。

运行demo工作流

未完待续