MnivL的博客

本文是一份全面的华为昇腾 Atlas 800I A2 服务器集群部署 DeepSeek-R1 671B 大模型的指南。内容涵盖部署前的硬件和软件要求、模型权重处理（包括下载、格式转换）、昇腾镜像配置（获取、启动及测试）、分布式推理配置、服务化部署（环境变量配置、参数修改、拉起服务及接口测试）、高级量化方案（支持类型和量化命令示例），还提供了常见问题排查方法和丰富的资源链接，助力用户完成在华为昇腾平台上的模型部署。

本文深度评测了 DeepSeek R1 近期开源的蒸馏系列模型。从模型指标、成本、性能、能力多个维度进行对比测试，通过对模型版权、资源需求、实际部署后显存占用和并发性能测试，以及逻辑推理、语言理解等多方面能力测评，全面分析各模型的优劣。最终揭晓性价比最高的模型，同时探讨模型在实际应用中的优化思路，为你在模型选择与应用上提供极具价值的参考。

本文记录使用 ms-Swift 框架 对 DeepSeekR1 蒸馏系列模型（7B、14B）在 A100（40GB）* 1 服务器上部署过程与测试结果。

无论是 Linux 还是 Windows 系统，从查看显卡信息、精准下载适配驱动，到 CUDA 安装与环境变量配置，每一步都有超详细步骤与贴心避坑指南。更有 torch 版本下载、cuDNN 安装等干货，手把手带你攻克技术难题，让你的服务器显卡性能满血释放，轻松开启高效深度学习之旅 。

本文详细介绍了在 2025 年进行 DeepSeek-R1-Distill-Qwen-14B 模型基于 vLLM 的部署过程。从环境准备开始，包括硬件与软件环境要求，如特定的操作系统、GPU 型号、Python 版本、CUDA 及 PyTorch 版本等，指导读者完成基础环境搭建。接着深入依赖安装环节，细致讲解了使用 conda 创建虚拟环境、pip 换源加速下载依赖包以及安装 CUDA 和 PyTorch 的要点，并提供检查安装是否成功的方法。

本文详细介绍如何运用 ms-swift 框架在 V100 设备上部署 DeepSeek-R1-Distill-Qwen-14B 模型。开篇明确所需环境，如 x86_64 架构、ubuntu 22.04 或 centos 7 系统、V100 GPU 等。接着依次阐述依赖安装、模型下载步骤，还展示推理测试、部署测试及并发测试过程。

当多数人还在惊叹 DeepSeek 破圈时，技术达人已在悄悄行动。你敢想象在普通消费级 PC 上，成功部署运行 DeepSeek-R1 671B 吗？这不再是天方夜谭。本文将带你深入探索这一技术奇迹，从模型选择、硬件需求剖析，到详细的部署步骤讲解，还有实测效果大揭秘。无论你是 AI 小白还是技术大神，都能从中找到乐趣与启发

本文详细介绍如何运用 ms - swift 框架在 V100 设备上部署 DeepSeek - R1 - Distill - Qwen - 7B 模型。开篇明确所需环境，如 x86_64 架构、ubuntu 22.04 或 centos 7 系统、V100 GPU 等。接着依次阐述依赖安装、模型下载步骤，还展示推理测试、部署测试及并发测试过程。

本文详细介绍了在 2025 年进行 DeepSeek-R1-Distill-Qwen-7B 模型基于 vLLM 的部署过程。从环境准备开始，包括硬件与软件环境要求，如特定的操作系统、GPU 型号、Python 版本、CUDA 及 PyTorch 版本等，指导读者完成基础环境搭建。接着深入依赖安装环节，细致讲解了使用 conda 创建虚拟环境、pip 换源加速下载依赖包以及安装 CUDA 和 PyTorch 的要点，并提供检查安装是否成功的方法。