【本地私有部署deepseek并配置优化】

前言

先说说大公司的研发成本吧，预训练：2664K GPU 小时（占 95%），上下文扩展：119K GPU 小时，后训练（监督微调 + 强化学习）：5K GPU 小时，小公司或者个人不做AI领域只能完成上下文和强化学习这一部分。
个人想私有部署个玩玩，或者在应用领域进行落地，可以试试将训练好的模型进行私有部署。

使用GPU运行模型（不支持会使用cpu）

因为先安装模型再安装驱动会有各种问题，所以先完成这里的步骤

看起来正在用cpu跑模型，需要配置GPU支持
以N卡为例

1. 先检测兼容性
   https://developer.nvidia.com/cuda-gpus
   命令行输入nvidia-smi查找版本信息
   根据版本号下载AI驱动https://developer.nvidia.com/cuda-toolkit-archive
   建议cuda v11以上
   
   本人电脑配置
   
   

默认cuda10.1，但我为了使用更多ai功能安装了cuda12.8版本，配置刚好也是兼容的，能入门了

2. 照着安装指引安装完驱动
   命令行检测一下nvcc --version

3. 配置环境变量使用算力显卡驱动
   
   设置Ollama环境变量, CUDA驱动环境变量也需要检查，自定义安装需要手动配置

ollama和llama

这里先使用ollama进行部署
Ollama 下载：https://ollama.com/download
Ollama 官方主页：https://ollama.com
Ollama 官方 GitHub 源代码仓库：https://github.com/ollama/ollama/

下载安装默认C盘，配置环境变量建议改成其他盘
详细教程看：https://github.com/datawhalechina/handy-ollama/blob/main/docs/C2/2.%20Ollama%20%E5%9C%A8%20Windows%20%E4%B8%8B%E7%9A%84%E5%AE%89%E8%A3%85%E4%B8%8E%E9%85%8D%E7%BD%AE.md

环境变量修改了记得重启

安装模型

然后去找模型资源
https://ollama.com/library
排前面就是ds，可以找到很多开源模型，根据配置挑选

安装方式：自己复制安装命令即可

交互软件推荐1 ChatBox

ChatBox 官网地址：https://chatboxai.app/zh 选择ollama并配置api到自己的服务即可

如上图配置本地模型
严谨与想象配置和结果丰富度和准确率有关，和人一样，说越多错越多