Deepseek简易部署

笔记

  1. 安装ollama平台
    Download Ollama on macOSDownload Ollama for macOShttps://ollama.com/download
  2. 查找deepseek模型
    OllamaGet up and running with large language models.https://ollama.com/search
  3. 以deepseek-r1为例
    deepseek-r1DeepSeek's first-generation of reasoning models with comparable performance to OpenAI-o1, including six dense models distilled from DeepSeek-R1 based on Llama and Qwen.https://ollama.com/library/deepseek-r1
  4. 选择模型后,运行cmd,输入指令,开始安装、运行模型
ollama pull <模型>
ollama run <模型>

     5. 其他相关指令

安装使用模型ollama run <模型>
查询模型ollama list
删除模型ollama rm <模型>
退出ctrl+d

     6. 模型与显卡匹配关系(AI查的)

  • R1-Lite:轻量级版本(如 7B/13B 参数),适合推理和轻量级训练。
  • R1-Standard:标准版本(如 20B/30B 参数),适合中等规模训练和推理。
  • R1-Pro:大规模版本(如 70B/130B 参数),需要高性能计算资源。
    笔记本RTX4050运行deepseek-r1:8b流畅,运行deepseek-r1:14b时结果输出较慢。
DeepSeek-R1推荐显卡型号显存要求适用场景
R1-LiteNVIDIA RTX 3060/3070/406012GB+本地开发、小批量推理、轻量微调
NVIDIA T416GB云端推理、低功耗部署
R1-StandardNVIDIA RTX 3090/409024GB+中等规模训练、多任务推理
NVIDIA A10/A3024GB/48GB企业级推理、中等规模微调
R1-ProNVIDIA A100 (40GB/80GB)40GB+大规模训练、分布式计算
NVIDIA H10080GB+超大规模训练、高性能计算集群

     7. 离线部署
安装模型,需要提前将模型文件下载到本地,再手动导入。
下载模型文件:

  • 官方模型库:使用 ollama pull <模型名> 下载模型。文件一般存储在/.ollama/models

    ollama pull deepseek-r1:8b
  • 将/.ollama/下文件复制到离线电脑

  • 离线导入模型
    使用命令 ollama serve 启动服务。
    运行 ollama list 查看可用模型。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值