Deepseek开源大模型本地配置使用

1、官网获取key。我的key:sk-39edc05xxxxxx8912

2、下载安装vscode

3、在vscode中安装cline

4、选择对应api,填写key

5、这样就已经配置完成,接下来可以测试使用

6、点击右上Cline的图标,拖动到右边显示,方便左边正常选择查看

7、手动单步添加或自动运行更多操作,自动操作则勾选上Auto-approve,并且勾选上内部权限,设置最多执行步数(Max Requiests)

8、在命令中详细描述自己要设计的内容,并且执行过程中如果出差,打字描述即可

### DeepSeek 开源模型本地虚拟机部署教程 #### 1. 准备工作 为了成功在本地虚拟机上部署 DeepSeek 模型,需先确认硬件条件满足最低需求。建议的计算机配置应具备至少8核心处理器、32GB内存以及一块高性能GPU来加速推理过程[^1]。 #### 2. 安装 Hyper-V 和创建虚拟机 启用 Windows 的 Hyper-V 功能作为虚拟化平台。打开 PowerShell 或命令提示符窗口并输入 `Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Hyper-V -All` 来激活此功能。之后,在Hyper-V管理器中新建一台虚拟机,分配足够的资源给该VM,并安装操作系统镜像文件(推荐使用Ubuntu LTS版本)。 #### 3. 设置网络连接 确保新建立的虚拟机能正常访问互联网以便后续下载必要的软件包和其他依赖项。可以通过桥接适配器的方式让宿主机与客户机共享相同的物理网卡实现内外网互通。 #### 4. 安装 Docker 及其扩展组件 进入已启动的Linux环境中执行如下指令完成Docker及相关工具链的安装: ```bash sudo apt update && sudo apt install docker.io -y sudo systemctl start docker sudo usermod -aG docker $USER newgrp docker ``` 接着按照官方文档指引设置好NVIDIA容器运行时环境以充分利用显卡性能。 #### 5. 获取并加载预训练模型 利用Ollama提供的API接口获取所需的DeepSeek R1:7B权重文件及其他配套脚本。这一步骤可能涉及到注册账号获得授权密钥等操作,请参照具体说明进行处理。 #### 6. 启动服务端口映射至前端界面 最后一步就是把整个项目跑起来啦!通过克隆GitHub仓库中的OpenWebUI项目到本地目录下,修改配置文件指向刚才准备好的模型路径,再依照README.md里的指导开启HTTP服务器监听指定端口号对外提供RESTful API调用入口。 此时应该可以在浏览器里看到一个图形化的控制面板用于交互式体验了!
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值