DeepSeek-R1本地部署

DeepSeek是一个开源模型,我们大可以通过本地部署,在自己的终端上随时使用!接下来就教大家具体的操作:

1、安装Ollama

首先我们需要安装Ollama,它可以在本地运行和管理大模型。
Ollama官网 https://ollama.com
在这里插入图片描述
选择一个适合自己的版本
在这里插入图片描述
我下载的是windows的版本,直接启动应用程序
初始化安装无法指定安装目录
在这里插入图片描述
下载完成后点击安装,完成后安装窗口会自动关闭
1.1、 移动Ollama 模型下载目录

  • Ollama 的默认模型存储路径如下:C:\Users%username%.ollama\models
  • 在系统变量中新建一个名为OLLAMA_MODELS的变量,设置其值为模型文件的新位置,例如D:\soft\Ollama\models,没有models文件夹则新建
    在这里插入图片描述
    1.2、 配置端口(可选)
  • Ollama API 的默认访问地址和侦听端口是http://localhost:11434,只能在装有 Ollama 的系统中直接调用。如果要在网络中提供服务,请修改 API 的侦听地址和端口(在系统环境变量里设置):

变量名:OLLAMA_HOST 变量值(端口)::8000
只填写端口号可以同时侦听(所有) IPv4 和 IPv6 的:8000 端口。(变量值的端口前号前有个冒号:) 注:要使用 IPv6,需要
Ollama 0.0.20 或更高版本。另外,可能需要在 Windows 防火墙中开放相应端口的远程访问。

1.3、允许浏览器跨域请求(可选)

Ollama 默认只允许来自127.0.0.1和0.0.0.0的跨域请求,如果你计划在其它前端面板中调用 Ollama API,比如Open
WebUI,建议放开跨域限制: 变量名:OLLAMA_ORIGINS 变量值:*

1.4、命令行使用方式

控制台运行模型: ollama run…
卸载模型: ollama rm…
查看已安装模型: ollama list
启动服务: ollama serve
退出模型: ctrl+d

2、下载模型

点击Ollama官网左上方的“Models”按钮,会列出支持的各种模型,根据自己的PC配置选择一个适合自己的模型
在这里插入图片描述
因为我的显卡是12G的,所以我选择的是deepseek R1 - 14b的
在这里插入图片描述
在cmd中执行ollama run deepseek-r1:14b,等待下载完成
在这里插入图片描述

3、实现deepseek可视化窗口

https://chatboxai.app/zh#download
下载对应系统的chatbox,下载完成后直接点击Chatbox-1.9.5-Setup.exe,都是点击下一步就可以安装完成
参考官网提供的配置https://chatboxai.app/zh/help-center/connect-chatbox-remote-ollama-service-guide
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值