使用Ollama协助部署
Ollama 是一个开源的本地化大模型部署工具,旨在简化大型语言模型(LLM)的安装、运行和管理。它支持多种
模型架构,并提供与 OpenAI 兼容的 API 接口,适合开发者和企业快速搭建私有化 AI 服务。
下载安装Ollama
通过官网,下载Ollama,本次以在windows11上部署使用。当然也支持其他服务器。
点击Download下载OllamaSetup.exe
下载后点击一步步的安装
验证安装
安装完成后,打开命令行工具,输入 ollama --version ,如果显示版本号,说明安装成功了
windows安装是一个应用,双击之类的都可以启动。也可以使用ollama serve 命令启动
下载DeepSeek-R1模型
当然你也可以下载其他的模型,点击链接:https://ollama.com/search ,可以看到有不同的模型。
选择不同的模型,点击进入。
可以看到有不同的模型大小可以选择,根据自己电脑的实际情况选择,如果是2G的显卡,建议使用1.5b那个,模型大小是1.1GB。
下载模型
复制ollama run deepseek-r1 ,在命令行窗口输入,等待下载完。
下载的快慢取决于你自己的网速和模型大小。
到后面可能会下载越来越慢,可以Ctrl+C停止掉,再重新执行,让其重新链接就好,可以接着下载。
运行模型
如果上一步执行完,其实就运行了。执行ollama run deepseek-r1就是启动命令。
这是命令行的方式,还可以结合web页面去使用。可以不用run命令。
WebUI使用模型
使用Open WebUI
只要能支持ollama的都可以。
https://github.com/open-webui/open-webui
安装
需要python环境,我使用的是python3.12.4
使用命令:pip install open-webui
当前看其文档,还可以有其他安装方式。
安装过程中遇到了这个错误:
我的解决方式是下载 https://visualstudio.microsoft.com/visual-cpp-build-tools/ 这个工具,安装了个VisualStudio ,貌似这个方式有点愚蠢。
启动服务
open-webui serve
启动后,在浏览器中访问 http://localhost:8080/ 既可以进入 Open WebUI 界面。
选择自己的模型,就可以使用了
自己部署的,没有官网好用!!!!!