DeepSeek671B使用Ktransformers 部署教程

DeepSeek671B使用Ktransformers部署教程

原创

于 2025-05-27 16:26:32 发布 · 854 阅读

21 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #prompt

环境配置

类别	详情
CUDA	12.4
Python	3.10
操作系统	Ubuntu 22.04
ktransformers	0.2.2rc2

硬件配置

组件	型号/规格
CPU	Intel Xeon E5-2686 v4
主板	劲鲨 X99 D8i
内存	256GB
显卡	NVIDIA RTX 3080M（16GB 显存）

运行结果

推理速度: 6.1 tokens/s 这套价格不到5千,速度流畅，性价比极高，搭配unsloth动态量化Q2.51效果很好，质量损失很少，对比官网效果都很不错。

步骤 1：环境准备

安装系统依赖

1.1 配置镜像源

#更新镜像源
sudo vim  /etc/apt/sources.list
#写入镜像地址
deb http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ jammy main restricted universe multiverse

deb http://mirrors.