最近AI火出了圈,特别是国产AI DeepSeek,它好用,但是官网经常出现“服务器繁忙,请稍后再试”,但是它是开源的,可以本地部署,有条件的可以自行安装部署。笔者也来尝试一下本地部署,以deepseek-r1:8b
的小模型来尝一下鲜。
一、下载安装Ollama
下载Ollama安装文件:
运行下面的命令安装到指定目录:
OllamaSetup.exe /DIR="I:\Ollama"
它默认是安装在系统盘的,系统盘磁盘空间压力大的,可以使用上面的方法安装到指定目录。
二、拉取模型
模型文件默认也是在系统盘,要想存在指定目录,需要设置环境变量:OLLAMA_MODELS
,笔者设置为I:\Ollama\Models
先退出Ollama
,再重新运行ollama app.exe
,让设置的环境变量生效:
拉取模型:
ollama run deepseek-r1:8b
三、运行
在DeepSeek控制台>>>
提示符后面输入问题,DeepSeek便开始思考并作答,作答格式是采用的Markdown的文本格式,如果要退出DeepSeek控制台,只需要在提示符后面输入指令:/byte
即可,如下图所示:
四、使用网页会话进入交互
在控制台进入交互始终还是不方便,还是得使用网页才能更好地展示输出的Markdown文本。有一个比较好用的免费工具,可以下载Windows、MacOS、Linux、手机版本的应用程序,也可以直接使用网页版本,非常方便。这里说一下网页版本的使用:
一、在使用网页版本之前,需要先做一点环境设置:
在Windows中设置一下环境变量:OLLAMA_ORIGINS
,设置为*
这样设置后,chatboxai才能连接到Ollama
服务,找到模型。
如果只是本地使用,只设置OLLAMA_ORIGINS
环境变量即可,如果是想提供给远程使用,则需要设置环境变量OLLAMA_HOST
为 0.0.0.0
。
设置好环境变量后,重启Ollama
。
二、直接在chatboxai的官网,启动网页版本:
也可以直接输入URL:https://web.chatboxai.app/
启动网页版。
启动后,如果没设置过模型,就会要求设置模型,选择Use My Own API Key/Local Model
:
然后选择Ollama API
:
进入下面的对话框选择模型,只要是前面设置了OLLAMA_ORIGINS
环境变量,就会出现已有的模型:
选择好模型后,记得SAVE
保存。
如果觉得英文不习惯,也可以设置为中文界面:
三、使用
试用一下:
如果对你有帮助,欢迎点赞收藏!
参考:
https://chatboxai.app/zh/help-center/connect-chatbox-remote-ollama-service-guide