Intel OpenVINO™ 携手ComfyUI提升AI创作效率

部署运行你感兴趣的模型镜像

image.png

Intel OpenVINO™工具套件(https://openvino.ai/)以其在Intel硬件上优化和部署AI模型的能力而闻名,近日与AI工作流平台ComfyUI  (https://www.comfy.org/ )达成合作:通过最近合并的OpenVINO™ node拉取请求(PR),将OpenVINO™的强大功能集成到ComfyUI中,为使用Intel硬件的创作者带来了显著的工作效率提升。

合作详情

此次PR合并为ComfyUI引入了一个全新的OpenVINO™节点,使用户能够在ComfyUI工作流中直接调用OpenVINO™推理引擎。该节点充分利用英特尔CPU、GPU、NPU等异构硬件资源,通过OpenVINO™的模型量化和硬件调优技术,大幅度加速端侧大模型推理的速度。ComfyUI用户可以更高效地在英特尔硬件系统中部署AI模型,无需繁琐的配置即可获得性能提升,是双方技术融合的重要一步。

用户获益

对于使用Intel硬件的创作者而言,这一集成带来了显著的实用优势。OpenVINO™节点大幅缩短了推理时间并降低了延迟,使得在ComfyUI中生成高质量图像和视频更加迅速。此外,该节点优化了资源使用率,非常适合处理大规模项目或需要实时计算的用户。无论是使用Intel最新AI PC的CPU、GPU还是NPU,创作者都能体验到更流畅、高效的操作,充分释放硬件潜力。值得注意的是,Intel芯片PC在整个PC机市场占有率为75%,这意味着绝大多数用户可以直接受益于这一优化,无需更换硬件。

简要使用指南

可以参考以下步骤,在ComfyUI中激活OpenVINO™节点。附录的视频供操作参考。

ComfyUI demo

1. 安装OpenVINO™节点

这里我们可以通过Comfy Registry进行安装:

comfy node registry-install comfyui-openvino

也可以通过ComfyUI-Manager的UI界面或是CLI工具进行安装:

comfy node install comfyui-openvino

2. 启动ComfyUI服务​​​​​​

cd ComfyUIpython3 main.py --cpu --use-pytorch-cross-attention

3. 搭建一个标准的ComfyUI流水线

image.png

4. 添加OpenVINO™节点

image.png

5. 将该节点连接到任何一个Model或是LoRA的Loader,同时OpenVINO™节点会根据你系统配置,提供部署硬件列表供选择。

image.png

6. 运行该流水线,由于OpenVINO™节点是通过Torch Compile机制来适配ComfyUI中的原始模型,因此在切换模型以后,需要对模型进行预热编译,这会影响第一次推理的时间开销。这个过程是一次性的,一旦完成后,您将体验到OpenVINO™在Intel平台上带来的卓越性能。

image.png

社区影响

OpenVINO™与ComfyUI的合作不仅提升了平台的性能,还为更广泛的AI创作群体带来了便利。本地推理以及硬件兼容性是ComfyUI的重要优势,通过优化Intel硬件上的AI内容生成效率,这一合作赋予了从业余爱好者到专业人士的更多硬件选择,使得创作者可以探索新可能性。它推动了AI生态系统的包容性发展,使硬件特定的优化方案能够轻松融入ComfyUI这样的热门平台。随着AI PC市场的快速增长——预计到2025年底,Intel AI PC全球出货量将达到1亿台,其中中国地区的出货量占全球的30%——这一合作在全球范围内,尤其是中国这一重要市场,将产生深远的影响。

总结展望

OpenVINO™节点融入ComfyUI是AI内容创作领域的一次重要里程碑。Intel的优化专长与ComfyUI的友好界面相结合,为Intel硬件用户树立了效率与性能的新标杆。未来,随着双方持续创新,AI社区有望迎来更多激动人心的技术进步,进一步推动创作表达的边界。

关于Intel OpenVINO™

英特尔 OpenVINO™(开放视觉推理与神经网络优化)是英特尔开发的开源深度学习工具包,专注于优化和部署 AI 推理,充分发挥英特尔硬件(CPU、GPU、NPU)的性能。支持 PyTorch、ONNX 等多种模型格式,OpenVINO™ 通过 INT4/INT8 量化、推测解码等技术降低首令牌延迟,提升推理效率。结合 Hugging Face,ModelScope以及Ollama 等生态,OpenVINO™ 广泛应用于大型语言模型(LLM)、图像生成和多模态任务,助力 AI PC 和边缘设备实现高效、本地化的 AI 应用。

Github: https://github.com/openvinotoolkit/openvino

Hugging Face: https://huggingface.co/OpenVINO 

Modelscope: https://www.modelscope.cn/openvino 

Docs: https://docs.openvino.ai/ 

关于 ComfyUI

ComfyUI 是全球领先的节点式 AI工作流平台,完全开源,专注于图像和视频生成任务。它的节点式图形化设计,允许用户像搭积木一样构建复杂灵活的工作流。ComfyUI 拥有数百万用户组成的社区,以及超过1万个第三方节点的广大生态系统,同时支持主流开源模型的本地推理(例如Flux图像生成模型,腾讯混元图像生成模型,通义万相Wan 2.1系列视频模型的本地推理),以及十余家领先视觉模型的 API 接入,是当前最具活力的生成式 AI 工具之一。

Github: https://github.com/comfyanonymous/ComfyUI/ 

Hugging Face: https://huggingface.co/Comfy-Org/ 

Modelscope: https://www.modelscope.cn/organization/Comfy-Org

Docs: https://docs.comfy.org/ 

微信号 : openvinodev

“开放、开源、共创”

致力于通过定期举办线上与线下的沙龙、动手实践及开发者交流大会等活动,促进人工智能开发者之间的交流学习。

您可能感兴趣的与本文相关的镜像

ComfyUI

ComfyUI

AI应用
ComfyUI

ComfyUI是一款易于上手的工作流设计工具,具有以下特点:基于工作流节点设计,可视化工作流搭建,快速切换工作流,对显存占用小,速度快,支持多种插件,如ADetailer、Controlnet和AnimateDIFF等

内容概要:本文全面介绍了OpenVINO这一英特尔开发的开源工具套件,它旨在优化和加速深度学习模型的推理过程。OpenVINO由模型优化器和推理引擎两个核心组件构成,前者负责将常见的深度学习框架训练的模型转换为中间表示格式并进行优化,后者则负责在各种英特尔硬件上高效执行推理任务。文中详细解释了模型优化器如何通过去除冗余节点、量化模型等手段提升模型效率,以及推理引擎如何利用硬件加速技术和智能路径选择实现高效推理。此外,文章还列举了OpenVINO在智能安防、自动驾驶、医疗影像分析、工业自动化等多个领域的具体应用案例,展示了其高性能推理、跨平台支持、丰富的模型库和易于集成开发的特点。最后,文章简述了OpenVINO的环境搭建步骤和模型转换与推理的具体操作方法,并展望了其未来发展。 适合人群:对AI开发有兴趣的专业人士,尤其是那些希望利用英特尔硬件平台加速AI应用开发的工程师和技术爱好者。 使用场景及目标:①在智能安防、自动驾驶、医疗影像分析、工业自动化等领域构建高性能的AI解决方案;②通过优化模型和硬件加速技术,提升AI应用的推理速度和准确性;③简化AI模型从训练到部署的过程,降低开发门槛,提高开发效率。 阅读建议:本文内容详尽,涵盖理论与实践两方面。读者应结合自身的硬件条件和技术背景,重点理解模型优化器的工作原理及其优化策略,掌握推理引擎的使用方法,并参考具体的案例进行实践操作。对于想要深入了解OpenVINO的开发者,建议动手尝试环境搭建和模型转换与推理的全过程,以获得更直观的认识和体验。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值