KTransformers ROCm支持：AMD GPU推理配置指南

KTransformers ROCm支持：AMD GPU推理配置指南

【免费下载链接】ktransformers A Flexible Framework for Experiencing Cutting-edge LLM Inference Optimizations 项目地址: https://gitcode.com/gh_mirrors/ktr/ktransformers

KTransformers是一个专注于通过CPU-GPU异构计算实现大语言模型高效推理和微调的研究框架。2025年3月15日，KTransformers正式支持AMD GPU上的ROCm平台，为开发者提供了在AMD硬件上运行大型语言模型的完整解决方案。本文将详细介绍如何在AMD GPU上配置和使用KTransformers进行高效推理。

🚀 准备工作与环境配置

安装ROCm驱动程序

首先需要为您的AMD GPU安装ROCm驱动程序：

# 参考官方ROCm安装指南
# https://rocm.docs.amd.com/projects/radeon/en/latest/docs/install/native_linux/install-radeon.html

创建Conda环境

推荐使用Miniconda3/Anaconda3进行环境管理：

# 下载并安装Miniconda
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

# 创建专用环境
conda create --name ktransformers python=3.11
conda activate ktransformers

# 安装必要库
conda install -c conda-forge libstdcxx-ng

# 验证GLIBCXX版本
strings ~/anaconda3/envs/ktransformers/lib/libstdc++.so.6 | grep GLIBCXX

安装PyTorch for ROCm

安装支持ROCm 6.2.4的PyTorch版本：

pip3 install torch torchvision torchaudio \
  --index-url https://download.pytorch.org/whl/rocm6.2.4
pip3 install packaging ninja cpufeature numpy

🔧 构建KTransformers

克隆代码库

git clone https://gitcode.com/gh_mirrors/ktr/ktransformers.git
cd ktransformers
git submodule update --init

安装依赖

bash install.sh

🎯 运行DeepSeek-R1模型

24GB显存GPU配置

对于显存有限的AMD GPU，使用优化配置：

python ktransformers/local_chat.py \
  --model_path deepseek-ai/DeepSeek-R1 \
  --gguf_path <gguf文件路径> \
  --optimize_config_path ktransformers/optimize/optimize_rules/rocm/DeepSeek-V3-Chat.yaml \
  --cpu_infer <CPU核心数+1>

40GB+显存GPU配置

对于大显存GPU，修改配置文件以获得更好性能：

1. 修改 DeepSeek-V3-Chat.yaml：

# 将所有 KLinearMarlin 替换为 KLinearTorch
KLinearMarlin → KLinearTorch

2. 运行命令：

python ktransformers/local_chat.py \
  --model_path deepseek-ai/DeepSeek-R1 \
  --gguf_path <gguf文件路径> \
  --optimize_config_path <修改后的yaml路径> \
  --cpu_infer <CPU核心数+1>

📊 性能优化技巧

异构计算优势

KTransformers利用CPU-GPU异构计算架构，将热专家放置在GPU上，冷专家放置在CPU上，显著降低显存占用。

多GPU配置

如果您有两块24GB AMD GPU，可以使用多GPU配置：

# 使用多GPU优化配置
python ktransformers/local_chat.py \
  --model_path deepseek-ai/DeepSeek-R1 \
  --gguf_path <gguf文件路径> \
  --optimize_config_path ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu.yaml \
  --cpu_infer <CPU核心数+1>

⚠️ 已知限制与注意事项

• Marlin操作不支持：ROCm平台目前不支持Marlin操作
• Q8线性实现性能：当前的Q8线性实现性能较慢（Beta版本限制）
• GPU兼容性：建议使用Radeon 7900xtx或更高性能的AMD GPU
• 系统要求：需要Linux环境和正确配置的ROCm驱动

🎉 成功案例

使用KTransformers + ROCm的组合，开发者已经在EPYC 9274F处理器和AMD Radeon 7900xtx GPU上成功运行了DeepSeek-R1和V3模型，实现了高效的推理性能。

通过本文的指导，您可以在AMD GPU上快速搭建KTransformers推理环境，享受异构计算带来的性能提升。随着ROCm支持的不断完善，AMD GPU将成为大语言模型推理的又一重要选择。

【免费下载链接】ktransformers A Flexible Framework for Experiencing Cutting-edge LLM Inference Optimizations 项目地址: https://gitcode.com/gh_mirrors/ktr/ktransformers