ComfyUI中使用大语言模型Ollama给提示词润色，解决词穷问题

前言

今天教大家本地部署Ollama大语言模型，并接入ComfyUI中，让你的ComfyUI变得更智能。

0****1

介绍

之前ComfyUI很多插件接入LLM大模型都得单独配置，很麻烦，今天给大家介绍一个通用的插件comfyui-ollama，再结合Ollama本地安装，让你想用什么大模型都行，从此解决提示词润色问题。

今天内容比较干，主要分三块进行：

• Ollama本地安装

• 提示词润色方案

• 图片反推提示词

02

安装介绍

所有的AI设计工具，模型和插件，都已经整理好了，👇获取~

2.1 Ollama本地安装

下载应用程序

要想ComfyUI里面使用大模型功能，我们需要本地先安装上Ollama这个应用。

首先登录ollama官方下载页面

https://ollama.com/download/windows

根据自己系统安装，我这里是windows

安装好后看到桌面右下角有这个羊驼图标就说明软件在运行了。

调整模型保存位置

ollama 默认的模型保存路径如下:

• Windows: C:\Users\%username%\.ollama\models

• MacOS: ~/.ollama/models

• Linux : /usr/share/ollama/.ollama/models

默认安装路径是在C盘，这样会有个问题，后面下载的模型也会自动安装到这里，就容易把C盘占满了，我们需要做一下调整，把模型保存的位置迁移到其他盘。

要修改模型保存位置的话，去环境变量里面调整。

设置变量：OLLAMA_MODELS

路径改成你自己设置的文件目录即可，我这里设置到D盘去。

设置完成后重启下电脑生效。

下载模型

要下载模型的话，登录ollama模型网站

https://ollama.com/library

目前比较常用的大模型我推荐2个，基本满足我们使用
文本大模型：llama 3.1

图片反推用的：llava

比如我们这里要安装llama 3.1

点进来后，选择想要安装的版本，然后点击后面的复制脚本命令

这里参数很多，电脑配置一般的推荐安装4.7GB的这个8b参数即可，70b的估计电脑跑不起来。

然后打开电脑CMD命令，输入粘贴这个脚本即可安装大模型了。

window下面通过 WIN+R 打开运行窗口，输入CMD 即可打开命令窗口

输入下载命令，就会开始下载模型了。

下载好了，可以去刚才重新设置的大模型存放目录看看是否下载下来了。

ollama常见命令

ollama可以直接在CMD命令窗口下执行命令

下面是几个常用的命令

ollama list :查看安装了几个模型

ollama run：启动服务

比如我要启动我安装的llama3.1大模型，使用命令 ollama run llama3.1就行。

然后就可以发送命令了

想要退出这个大模型的话 按下 Ctrl+D即可。

其他命令就无所谓了，我们主要是要在ComfyUI里面集成使用。

2.2 ComfyUI插件安装

节点管理器搜 comfyui-ollama 安装即可

安装上了后重启服务即可。

03

使用流程**
**

这里先介绍下 ComfyUI中ollama插件的使用

核心组件就三个，常用的就2个

文本处理用 Ollama Generate

可以看到，model这里可选项就是我们刚才在ollama那边安装的大模型

图像处理用Ollama

这里模型要记得用 llava，这个模型才能识别图片。

后面测试案例都是用Flux出图，用的是BizyAir线上的Flux，大家要想用我这套工作流测试，记得安装下BizyAir插件。

3.1 文本提示词扩写

这里我介绍下ollama在提示词润色方面的写法，核心提示词来自Datou大佬的分享

完整结构如下

一共使用了3次 Ollama Generate组件

第一次是当翻译器用，把中文翻译成英文

第二次是结合一套提示词模板，让AI生成润色后的提示词，这时候的提示词我们会放入到{}中

第三次是让大模型提取{}里面的提示词给我们。

这样最终生成的就是润色后的提示词了。

上面这个案例里面输入的是：

一个忍者在赛博朋克2077中‍

最终给出的是：

1 ninja, [edgy cyberpunk cityscape at night], neon lights reflecting off wet pavement, sleek black ninja suit blending into shadows, high-tech gadgets and gizmos scattered around, gritty and intense atmosphere

接下来，我们来对比一下几个案例，后面是不同大模型扩写后的提示词，分别对应下面几种情况

• 原文

• ollama大模型 llmma3.1

• BizyAir插件的 SiliconCloud LLM API节点

• Gemini_zho

ollama是使用我们本地安装的大模型，SiliconCloud LLM API 是使用bizyAir这个插件里面的一个润色节点，Gemini的话是使用线上的API。

一个忍者在赛博朋克2077中

皮卡丘大战喷火龙

一只老鼠戴着墨镜穿着沙滩裤，手里拿着果汁

中国龙

一个美女穿着优雅的红色礼服，火车站背景

可以看到这几组图，润色后效果最好的是 Gemini_zho、其次才是 ollama 和 BizyAir。

但是 Gemini 这个线上API调用有次数限制，经常用一会就上限了。

Gemini插件地址：

https://github.com/ZHO-ZHO-ZHO/ComfyUI-Gemini

BizyAir插件的话可以看我上一篇文章

低配电脑有救了，BizyAir插件让你本地也能用上吃性能的Flux云端功能，免费使用

3.2 图片反推提示词

接下来我们也来测试下图片反推提示词效果

这里我也测试了4个插件，WD1.4效果太差了，我直接排除了。

• CLIP询问机

• Ollama Vision

• BizyAir Image Caption

• Gemini_Zho

完整工作流如下

下面是几组图片反推对比结果

这里分享给大家一份Adobe大神整理的《AIGC全家桶学习笔记》，相信大家会对AIGC有着更深入、更系统的理解。

有需要的朋友，可以点击下方免费领取！

AIGC所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去，那么我的使命也就完成了：

AIGC工具库

AIGC工具库是一个利用人工智能技术来生成应用程序的代码和内容的工具集合，通过使用AIGC工具库，能更加快速，准确的辅助我们学习AIGC

有需要的朋友，可以点击下方卡片免费领取！

精品AIGC学习书籍手册

书籍阅读永不过时，阅读AIGC经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验，结合自身案例融会贯通。

AI绘画视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，科学有趣才能更方便的学习下去。