本地部署deepseek

本地部署deepseek

一、下载并安装OllamaSetup

官网https://ollama.com/download,点击download下载对应系统的版本,支持win、linux、mac
在这里插入图片描述默认装c盘了。。。没发现可以更改安装目录的地方在这里插入图片描述

二、在Ollama官网https://ollama.com/search中找到自己想要的模型-此处以deepseek模型为例

根据上面的配置提示选择适合自己设备的模型,或者可以去百度查一下配置要求,我这里是4090显卡,内存16GB(用14b的时候风扇快把电脑吹上天了,响应超级慢,8b就很德芙🍫)
在这里插入图片描述

三、复制ollama run deepseek-r1:14b到CMD下,即可开始安装deepseek模型,安装完成后就可开始使用

在这里插入图片描述

四、图形化模式-安装chatbox

官网:https://chatboxai.app/zh
安装好后再设置里配置API接口(即占用的本地端口,deepseek默认11434),配置好后即可使用,不知道到端口的可以使用netstat -ano查一下端口占用,或者自行百度搜索。注意模型提供方选择OLLAMA API

在这里插入图片描述
在这里插入图片描述
测试后图形化有个缺点,响应时间比cmd下慢很多。。。。。不知道是不是自己电脑的问题

### 如何在本地部署 DeepSeek 为了提供详细的指导,在本地环境中部署 DeepSeek 需要遵循一系列配置和安装过程。虽然具体细节可能依赖于特定版本的 DeepSeek 和操作系统环境,下面给出了一般性的步骤说明。 #### 准备工作 确保计算机上已经安装了 Docker 及其相关组件,因为大多数现代机器学习平台都基于容器化技术构建[^1]。对于 Linux 用户来说,还需要确认内核参数设置正确以支持必要的功能特性。 #### 安装 Minikube 并启动单节点集群 Minikube 是一个用于创建轻量级 Kubernetes 单节点集群工具,非常适合开发测试用途。通过命令 `$ minikube start` 来初始化一个新的 K8s 实例;如果希望打开 Web UI 进行可视化管理,则可以执行 `minikube dashboard` 命令来访问默认浏览器中的仪表板界面[^3]。 #### 设置存储解决方案 考虑到 DeepSeek 的数据持久性和性能需求,建议采用分布式文件系统作为后端存储方案之一。例如 Ceph 提供了一个强大的对象、块以及文件系统的组合服务。针对 Debian 或 Ubuntu 发行版,可以通过添加官方源并利用包管理器完成 ceph-deploy 工具链的获取与安装操作[^2]。 #### 获取 DeepSeek 应用镜像 联系供应商或者查阅官方文档找到合适的 Helm Chart 资源库地址,从中拉取最新稳定版的应用程序映像到本地仓库中待后续部署使用。 #### 编写自定义资源配置清单 根据实际业务场景调整 YAML 文件里的各项参数选项,比如副本数量、资源请求限额等字段值,从而更好地适配目标硬件条件下的运行状况。 #### 执行应用发布流程 最后一步就是运用 kubectl CLI 向 API Server 发送指令提交之前准备好的描述性模板,触发自动化调度机制使得各个 Pod 成功上线至指定命名空间之下正常运作起来。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值