DeepSeek部署（自用留存）

1. 下载平台

魔塔社区
进入社区选择需要的模型，根据下载教程进行下载，推荐使用modelscope下载

2. 相关信息

config.json

地址/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json，进到conf后vim config.json查看或编辑文件

vim 退出快捷键

1. 非命令编辑模式下
   按住shift ：zz 保存退出；zq 不保存退出，q表示放弃
2. 命令编辑模式下
   :q 不保存退出
   :q! 不保存强制退出
   :wq 保存退出，w表示写入，不论是否修改，都会更改时间戳
   :x 保存退出，如果内容未改，不会更改时间戳

• ServerConfig
• -ipAddress：模型ip地址
• -httpsEnabled：默认true，修改为false，禁用http访问，防止sl证书检测
• BackendConfig
• -npuDeviceIds：GPU列表
• -tokenizerProcessNumber：GPU数量
• -maxSeqLen、maxInputTokenLen：token数，根据需要调整，太大模型无法启动
• -ModelConfig
  • -modelName：DeepSeek-R1-Distill-Llama-70B 根据需要修改
  • -modelWeightPath：/home/deepseek70b/deepseek70b 容器内的挂载路径，根据需要修改
  • -worldSize：与GPU数量统一
• ScheduleConfig
• -maxPrefillTokens：与maxSeqLen统一

容器

• Mounts：挂载信息
• -Source：实际地址 /data/nvme0/models
• -Destination：挂载地址 /home/deepseek70b
• -ipAddress：容器ip地址 172.17.0.2

3. 替换模型

• 下载模型到实际位置，会自动挂载到挂载地址
• 修改config.json相关信息
• 重启模型 docker restart 容器名/ID
• 可以进入容器查看启动情况
  • 进入容器 docker exec -it 容器名/ID /bin/bash
  • 进目录 cd /usr/local/Ascend/mindie/latest/mindie-service/bin/
  • 挂起进程 nohup ./ mindieservice_daemon > run.log &
  • 查看日志 tail -f run.log 查看容器启动情况
  • 退出查看并挂起进程（暂停） Ctrl + Z
  • 将挂起的任务放到后台继续运行bg
  • 让任务与当前终端分离disown
    或者一开始使用nohup tail -f run.log > tail.log &,这样即使退出终端，tail 也会继续运行，并将输出保存到 tail.log 文件中