m0_68257744的博客

原创 华为服务器模型配置

容器部署 docker版本低（版本要求大于或等于24.x.x，当前为20.） 且当前docker无法连接Docker Hub，无法拉取操作系统镜像。vLLM 已支持昇腾 NPU，可部署 DeepSeek-R1-Distill-Llama-8B/70B 等模型。配置多卡张量并行（如 --tensor-parallel-size 86）。--tensor-parallel-size 8（8 卡并行）；--max-model-len 4096（上下文长度）。--dtype float16（半精度节省显存）；