gpt4all以及sd3模型的本地部署

GPT4ALL的本地部署

一。下载各gpt4all及其语言模型

下载连接：GPT4All

根据自己的电脑下载对应的版本

下载成功后会有个图标载桌面

这是官方给出的应用，可以在里面下载一些语言模型，当然你也可以将自己有的模型放进去

如果你想用pycharm中使用，则需创建个新的项目，在里面导入gpt4all的插件

二、运行环境

可以使用anaconda或docker构建运行环境。

我的anaconda版本和python版本：

如果是用pycharm可以在设置里把anaconda添加进解释器

三、调用代码

可在gpt4all官方文档处查看：GPT4Allhttps://docs.gpt4all.io/

from gpt4all import GPT4All
model = GPT4All("Meta-Llama-3-8B-Instruct.Q4_0.gguf") # downloads / loads a 4.66GB LLM
with model.chat_session():
    print(model.generate("How can I run LLMs efficiently on my laptop?", max_tokens=1024))

本人实际调用代码：

​
from gpt4all import GPT4All


# model_name: str,
#         *,
#         model_path: str | os.PathLike[str] | None = None,
#         model_type: str | None = None,
#         allow_download: bool = True,
#         n_threads: int | None = None,
#         device: str | None = None,
#         n_ctx: int = 2048,
#         ngl: int = 100,
#         verbose: bool = False,

model = GPT4All(model_name="Meta-Llama-3-8B-Instruct.Q4_0.gguf",model_path="where your model file path", model_type = None,allow_download=False)
with model.chat_session():
    print(model.generate("your question", max_tokens=1024))




​

测试：

    print(model.generate("What is the apple?", max_tokens=1024))

结果：

The apple! It's a type of fruit that grows on trees. Apples are often eaten fresh, used in cooking and baking, or made into products like juice, cider, and vinegar.

Would you like to know more about apples?

sd3模型的本地部署

1、下载stable diffudion 3模型

这是个开源的模型，我们可以直接去官方网址下载：stabilityai/stable-diffusion-3-medium at main

如果打不开网站可能需要科学上网；

下载还需要先注册一个用户登录才行

登陆成功后找到file一栏，选择与自己电脑对应的版本下载就行

• 有独立显卡
  • 独立显卡配置高（8G以上）：fp16
  • 独立显卡配置较低（大于4G、小于8G）：fp8
• 没有独立显卡：下载CPU版本

如果你不想在官网下载也可以在这个镜像链接里找到对应版本下载，且不用注册

Hugging Face 模型镜像/stable-diffusion-3-medium - 码云 - 开源中国

2、下载comfyui控制面板

这个需要去GitHub下载，所以需要科学上网，如果你不想去GitHub下载，你也可以去b站寻找整合包直接安装

在GitHub里搜索comfyui，找到这个：

进去后点击code，选择download ZIP

下载好后解压会有这样一个文件夹

3、启动comfyui

进入文件夹后会看见这两个.bat文件，根据自己的电脑选择，点击后就可以启动comfyui了

初始界面是这样的，大小不一样没关系

4、添加模型

但我们想使用comfyui还需要将我们第一步下载的模型添加进去，否则当你启动点击queue prompt时会出现报错说load checkpoint error之类的，因为此时你的load checkpoint是没有可选择模型的

添加模型的文件路径如下：

ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\models

在model文件夹里还有很多文件夹，这些文件夹都是用来存放不同的模型的，我们下载的stable diffusion 3 模型可以存在diffusion_models这个文件夹下

然后我们回到comfyui启动页面，点击load checkpoint，此时就有了可以选择的模型

然后我们在CLIP TEXT ENCODE 处输入指令，再点击queue prompt，comfyui就会启动生成你想要的图形了

总结

模型生成的答案具有随机性，可能较好也可能较坏