前言
本教程仅适用于N卡Win系统,其他配置请再在zai站内搜索其他教程
一、 下载Ollama程序
进入官网主页:Ollama
二、安装Ollama软件
1. 安装路径
注意Ollama会默认安装到C盘,路径如下C:\Users\%username%\AppData\Local\Programs\Ollama 不会让你先择路径,安装后大小约为4.56G
2. 验证安装
安装完成后自动启动,在右下角小图标,首先,退出Ollama的左下角图标,准备配置Ollama的Windows环境变量
win+R 输入cmd进入命令提示框,运行ollama list 说明安装完成,并可成功运行
Ollama中常用的命令列表
ollama -v:显示版本
ollama list:显示模型列表
ollama show:显示模型的信息
ollama pull:拉取模型
ollama push:推送模型
ollama cp:拷贝一个模型
ollama rm:删除一个模型
ollama run:运行一个模型
ollama serve:启动ollama 服务,端口号11434
ollama create:从模型文件创建模型
ollama help:获取有关任何命令的帮助信息
三、配置Ollama
1. 取消开机自启动
在用户的启动菜单,剪切Ollama图标至桌面, %APPDATA%\Microsoft\Windows\Start Menu\Programs\Startup,这样不占开机内存,需要使用时再打开
2. 查看环境变量
Ollama 的默认模型存储路径如下:C:\Users\%username%\.ollama\models。打开windows的环境设置,如下Ollama运行Path已设置好(即在CMD环境可直接运行)
3. 更改模型存储的路径
模型通常比较大,故模型的存储路径需要变更,通过新建一些环境变量可以定义未来模型的安装路径,以节约C盘空间
打开“系统环境变量”,新建一个系统变量OLLAMA_MODELS(默认此名称) ,然后设置ollama模型的存储路径如下图,未来模型下载安装在此
类似的,再新建一个OLLAMA_ORIGINS
重要的事情说三遍!!!
配置完成后,重启电脑,让上述环境变量生效
配置完成后,重启电脑,让上述环境变量生效
配置完成后,重启电脑,让上述环境变量生效
四、安装Ollama环境下的大模型
1. 安装DeepSeek R1模型
2. 选择适合自己的模型
根据自己显卡的性能选择适合自己的模型
deepseek-r1:1.5b——1-2G显存
deepseek-r1:7b——6-8G显存
deepseek-r1:8b——8G显存
deepseek-r1:14b——10-12G显存
deepseek-r1:32b——24G-48显存
deepseek-r1:70b——96G-128显存
deepseek-r1:671b——至少496GB
在这里我选择安装32B的模型
把上面的命令复制后粘贴到cmd界面,直接运行
出现类似线面的返回,即证明安装开始了
我们可以返回之前自定义的模型安装路径,检查之前的修改是否生效,模型有没有被装到这里
在安装完之后,会有一个对话框出现,我们现在就可以提问了,检查模型是否能够正常运行
3. 放开跨域限制
在我们安装完了基本的模型之后,我们一定还需要一个UI界面来实现流畅的体验和更多样的功能
Ollama 默认只允许来自127.0.0.1和0.0.0.0的跨域请求,如果你计划在其它前端面板中调用 Ollama API,比如chatbox,建议放开跨域限制。注意安装完模型后,如下设置:
OLLAMA_HOST,值为 0.0.0.0
设置方法和之前新建环境变量一样,注意新建完了要重启电脑,其他的就不多赘述了
五、安装互动工具Chatbox
1. 进入官网下载软件
Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载
2. 对Chatbox进行配置
点击使用本地模型
进行相关的网络配置,如果在选择模型的地方能看到之前选择了的模型那就证明成功了
经过上述的操作,就可以实现本机上的本地AI使用了
3. 以安装模型的PC作为主机,其他设备共享使用
局域网以内的其他设备使用,只要设备能安装Chatbox,在设置中把API设置为
即可共享AI服务