以下是实现DeepSeek R1推理模型本地断网部署的步骤指南,结合了模型量化、防火墙配置和硬件加速优化:

以下是实现DeepSeek R1推理模型本地断网部署的步骤指南,结合了模型量化、防火墙配置和硬件加速优化:

一、准备工作

  1. 模型获取(需短暂联网)
  • 访问Huggingface官网,搜索并下载以下资源:
    • DeepSeek-R1官方模型(如DeepSeek-R1-32B-Chat-GGUF
    • TheBloke团队的量化版本(含Q4/Q8等精度)
    • 示例下载命令:
      huggingface-cli download TheBloke/DeepSeek-R1-32B-Chat-GGUF --local-dir ./models --include "*.gguf"
      
  1. 软件安装
  • 下载安装LM Studio
  • 安装NVIDIA CUDA Toolkit(仅NVIDIA显卡需安装)

二、网络隔离配置

  1. 防火墙设置
  • 打开高级安全Windows防火墙
  • 创建新出站/入站规则:
    • 程序路径:C
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值