通过ollama本地部署大模型

ollama

https://ollama.com/
根据硬件环境下载：

检查安装完成：

类似于容器，可以load大模型到本地，此处选择deepseek

直接在本地运行即可进入对话：

ollama run deepseek-r1:1.5b

显然丐版模型存在一定幻觉

Open WebUI

如果要在网页上有更好的体验，可下载Open WebUI

在conda环境下创建python3.11

conda create -n llm python=3.11
pip install open-webui

启动webui服务器

open-webui serve

打开http://localhost:8080/后需要注册：

可以开始和部署的大模型聊天了：

ollama常用指令

Ollama 指令：
ollama run [model_name]：运行指定的模型。模型名称可以是模型的标识符，例如 ollama run deepseek-r1:1.5b。
ollama list：列出所有已安装的模型。
ollama pull [model_name]：从远程仓库（如 Hugging Face 或其他模型仓库）拉取指定的模型。
ollama push [model_name]：将本地模型推送到远程仓库。
ollama remove [model_name]：从本地环境中删除指定的模型。
ollama stop [model_name]：停止运行中的模型实例。
ollama show [model_name]：显示指定模型的详细信息，包括模型配置和状态。
ollama login：登录到远程模型仓库，以便拉取或推送模型。
ollama logout：从远程模型仓库注销。
ollama config：查看或设置 Ollama 的配置。
ollama version：显示 Ollama 的版本信息。
ollama update：更新 Ollama 到最新版本。
ollama help：显示帮助信息，列出所有可用的命令及其用法。