DeepSeek-R1本地部署+远程访问(保姆级教程)完全免费

前言

这两天deepseek大火,大家都在做本地部署,本教程适合有一定软件基础的新手。

本地部署

Part1 准备工作

建议使用VPN进行配置。国外的网站能不能访问凭运气,有VPN会好很多。本教程为N卡教程。

win+r打开cmd,输入nvidia-smi,查看自己适合的cuda版本。

nvidia-smi

前往NVIDIA官网下载cuda和cudnn。选择自己的软件版本。win10 or win11。

cuda下载地址:CUDA Toolkit 12.8 Downloads | NVIDIA Developer

cudnn下载地址:cuDNN 9.7.1 Downloads | NVIDIA Developer

接下来安装conda,正常使用建议安装轻量版的miniconda。内存占用小,而且足够日常使用。

原版anaconda下载地址:

清华大学镜像站:Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

官网:

Download Anaconda Distribution | Anaconda

轻量版miniconda下载地址:

清华大学镜像站:

Index of /anaconda/miniconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

官网:

Index of /      (选择x86-64的windows版本,建议使用latest,如图)

接下来安装ollama,这个软件对小白更加友好,也可使用进阶版选择,如vllm等同类软件。

打开ollama官网:Download Ollama on macOS  进入后选择windows选项。

官网服务器在国外,建议使用VPN下载。国内网络大概需要下一个晚上,实在用不了vpn的可以挂一晚上,差不多早上就下好了。

Part2 开始安装

ollama的安装包下载好后,打开安装。安装完后win+r打开命令提示符(cmd),输入ollama --version验证安装,出现版本信息则安装成功。

ollama --version

ollama安装好后,默认的模型下载地址是在C盘。如果C盘够大,无所谓。可以改为D盘,方法如下:

打开开始菜单,搜索编辑系统环境变量。

接下来打开环境变量。

打开后,在用户变量和系统变量中都新建一条变量,如下:

接下来输入:

变量名:OLLAMA_MODELS

变量值可以根据自己的情况修改,在自己想要的位置新建文件夹,点击文件资源管理器上面的目录框,复制到变量值就行。

用户和系统变量都添加完后,一路点确定,完成设置。

Part3 下载模型

打开cmd,输入ollama pull +想要下载的模型。

具体可供下载的模型请看ollama的library。网址如下:library

比如下载deepseek的r1模型,则输入:

ollama pull deepseek-r1

默认下载的是7b的版本,即70亿参数。可根据自己电脑的情况进行下载。共有7个版本。

1.5b 7b 8b 14b 32b 70b 671b

普通电脑下载1.5b,3060以上可以试试7b和8b,4080即以上可以安装14b,4090和5080、90可以安装32b,如果想尝试70b也可以,但是速度较慢。

想下载不同版本的代码(以14b为例,其他自行替换):

ollama pull deepseek-r1:14b

 这两天下载的人较多,可能速度有点慢,这里开不开vpn差不多。如果特别慢可以去huggingface上下载源文件导入到ollama中,但是过程较为繁琐,新手小白不建议尝试。

Part4 运行模型

在cmd中输入:

ollama run deepseek-r1:14b

还是一样,后面的模型大小自行替换。

运行后会转圈圈,等待模型加载好后即可使用了。

到这,本地部署的基本操作就好了。

Part5 美化

在cmd中运行模型,黑底白字,啥都没有,测试用用还好,一直这么用眼睛也受不了。所以美化教程十分重要。

我们将ollama导入到外部的聊天窗口,我这里建议使用chatbox(一个github的项目,30k的star)界面简洁,操作简单。

打开chatbox的官网进行下载:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载

建议使用VPN进行下载。

先做好准备工作,在访问时要保证ollama在后台运行,有一下两种方法,效果一样,看自己喜好。

PlanA:

打开cmd,输入:

ollama serve

等到第一段配置信息输出后,进行下面的操作(安装chatbox),全程保持cmd窗口不关闭。

PlanB:

也可以在开始菜单中打开ollama应用,会在任务栏的托盘中显示ollama的图标。出现图标即开始运行了。

cmd和应用打开方式二选一,不要同时打开,会报错!!! 

下载后打开,找到左下角的settings(设置),在model(模型)中找到第一个选项Model Provider。选择OLLAMA API。

在底下的API中输入http://127.0.0.1:11434。在下一个选项Models中选择deepseek的模型,也可以选择其他的本地部署过的模型。选择save,即可开始对话。之后就可以尽情享受AI之旅了。每次打开只需将ollama打开,chatbox即可使用。

远程访问

以下所有指令运行时,请务必确保ollama在后台运行。

Part1 局域网部署

打开系统环境变量,还是之前的方式,在用户变量中新建两个变量:

变量名:OLLAMA_ORIGINS

变量值:*

变量名:OLLAMA_HOST

变量值:0.0.0.0

都是固定的,不要修改。

之后就可以在局域网中进行访问了。

在其他设备上访问时,将api替换成:http://192.168.X.X:11434

不要直接照着超

将192.168.X.X更改为本地部署电脑的ip地址,可在cmd中输入ipconfig查看

ipconfig

 ​​​​​​

 找到ipv4地址,替换即可。注意:如果安装过虚拟机的,不要复制成vmware的地址啦

之后即可在局域网下远程访问。

Part2 公网远程部署

有的同学可能就问了,这样只能在同一局域网下访问,最多就是在隔壁房间访问,我要是出门也想用怎么办?这时候,就要部署公网状态下的远程访问。

为了实现此功能,我们需要内网穿透。市面上有很多内网穿透软件,比如ngrok,openfrp等,但大多都不免费。我最近发现了一个github的开源项目,完全免费,叫loophole。

这是官网:Download | Loophole

选择cli的windows-64bit版本。

下载后在文件夹下右键,选择在终端中打开,输入

./loophole account login

之后会跳转到登录页面,根据指引注册登录即可。登录后进行下一步操作:

./loophole http 11434 --hostname yourname

把yourname改成你想改的名字,避免重复,就会导致出错,所以最好取个长一点的名字。

在浏览器中输入https://yourname.loophole.site,如果出现ollama is running就说明成功了(字比较小,在左上角)

之后就可以在公网访问了,将chatbox中的api改成:

https://yourname.loophole.site       注意替换yourname

之后出门在外只要保证电脑不关机,ollama在运行,loophole内网穿透,就可以在外远程访问ollama使用deepseek。实测延迟很低,一般感受不到。

可以去华为云阿里云cloudflare等网站注册一个域名,将yourname.loophole.site替换成自己的域名 稍微好记一点,只要在管理页面中的dns选项将自己的域名指向yourname.loophole.site就可以了。

总结

以上就是全部教程,略长,但比较简单,新手小白也可以尝试,如果有问题,评论区讨论。

 

 

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值