DeepSeek开源多模态模型Janus-Pro的ComfyUI使用教程,文中附模型和工作流下载

部署运行你感兴趣的模型镜像

今天给大家介绍DeepSeek发布的Janus-Pro模型的ComfyUI实践教程,包含ComfyUI安装,模型下载,工作流下载等,欢迎大家一起交流学习,也欢迎添加公众号小助手加入读者交流群,一起探索AIGC好玩的应用。

Janus Pro 是 DeepSeek 于 2025年1月27日开源的多模态模型,同时具有图像理解和生成的能力。

ComfyUI 的 Janus-Pro 节点是一个统一的多模态理解和生成框架。

图片

unset****unset**安装方法**unset****unset

1. 通过 ComfyUI Manager 安装(推荐)
  • 安装 ComfyUI-Manager
  • 在管理器中搜索 “Janus-Pro”
  • 点击安装
2. 手动安装

将此仓库克隆到你的 ComfyUI 的 custom_nodes 文件夹中:

cd ComfyUI/custom_nodes
git clone https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro

安装所需依赖: Windows系统:

# 如果你使用ComfyUI便携版
cd ComfyUI-Janus-Pro
..\..\..\python_embeded\python.exe -m pip install -r requirements.txt

# 如果你使用自己的Python环境
cd ComfyUI-Janus-Pro
path\to\your\python.exe -m pip install -r requirements.txt
# 使用ComfyUI的Python环境
cd ComfyUI-Janus-Pro
../../python_embeded/bin/python -m pip install -r requirements.txt

# 或者使用你的环境
cd ComfyUI-Janus-Pro
python -m pip install -r requirements.txt

unset****unset**安装注意**unset****unset

如果你遇到安装问题可以从一下几个方面排查问题:

  • 确保已安装 git
  • 尝试更新 pip:
python -m pip install --upgrade pip

  • 如果使用代理,确保 git 可以访问 GitHub
  • 确保使用的是与 ComfyUI 相同的 Python 环境

unset****unset**模型下载**unset****unset

  • 将模型文件放在 ComfyUI/models/Janus-Pro 文件夹中:

  • 在 ComfyUI 的 models 目录下创建 Janus-Pro 文件夹

  • 从 Hugging Face 下载模型:

    • Janus-Pro-1B:https://huggingface.co/deepseek-ai/Janus-Pro-1B
    • Janus-Pro-7B:https://huggingface.co/deepseek-ai/Janus-Pro-7B
  • 将模型解压到各自的文件夹中:

ComfyUI/models/Janus-Pro/Janus-Pro-1B/
ComfyUI/models/Janus-Pro/Janus-Pro-7B/

unset****unset**工作流下载**unset****unset

需要的小伙伴可以在公众号发送以下内容获取工工作流:

DeepSeek工作流

这个工作流节点包含了图像描述和图像生成

图片

  • 在序号1 选择 1B 或者 7B 模型
  • 在序号2 上传你需要用于 Janus Pro 解读的图片
  • 在序号3 可以调整用于图片描述的 Prompt, - 我测试过中文、英文、日语输入都没有问题,但是如果你需要特定语言的输出,请你在 prompt 中声明,类似 请使用日语输出 这样的要求
  • 序号4 是一个展示 文本的节点,我这里使用的是ComfyUI-Custom-Scripts 插件中的 Show Text 节点
  • 在序号5 中输入用于图像生成的 prompt
关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

需要的可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

请添加图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

请添加图片描述

您可能感兴趣的与本文相关的镜像

ComfyUI

ComfyUI

AI应用
ComfyUI

ComfyUI是一款易于上手的工作流设计工具,具有以下特点:基于工作流节点设计,可视化工作流搭建,快速切换工作流,对显存占用小,速度快,支持多种插件,如ADetailer、Controlnet和AnimateDIFF等

### DeepSeek 多模态模型 Janus-Pro-7B 使用指南 #### 获取模型 为了使用 Janus-Pro-7B 模型,需先从指定网站下载模型文件。访问链接可获得最新版本的模型权重其他必要资源[^2]。 ```bash # 下载命令示例(具体路径可能有所不同) wget https://huggingface.co/deepseek-ai/Janus-Pro-7B/archive/main.zip unzip main.zip -d ./janus_pro_7b/ ``` #### 安装依赖库 安装必要的 Python 库来加载并运行此多模态模型。推荐使用虚拟环境隔离项目依赖项。 ```bash pip install transformers torch accelerate safetensors ``` #### 加载预训练模型 通过 Hugging Face 的 `transformers` 库可以轻松加载已保存的模型及其配置。 ```python from transformers import AutoModelForVision2Seq, AutoProcessor model_name_or_path = "deepseek-ai/Janus-Pro-7B" processor = AutoProcessor.from_pretrained(model_name_or_path) model = AutoModelForVision2Seq.from_pretrained(model_name_or_path) ``` #### 数据准备与处理 对于输入数据,无论是文本还是图像都需要经过特定方式编码成适合喂给神经网络的形式。 ```python image_url = "http://example.com/path/to/image.jpg" # 替换成实际图片URL text_input = "描述这张照片的内容" inputs = processor(image=image_url, text=text_input, return_tensors="pt") ``` #### 执行推理任务 准备好所有前提条件之后就可以调用模型来进行预测了。这里展示了一个简单的例子用于说明如何执行一次前向传播操作得到输出结果。 ```python with torch.no_grad(): outputs = model.generate(**inputs) generated_text = processor.decode(outputs[0], skip_special_tokens=True) print(generated_text) ``` #### 进阶应用案例 除了基本的文字到文字转换外,Janus Pro 7B 支持更多样化的应用场景,比如基于视觉的理解能力以及跨媒体的信息生成等功能[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值