windows11 conda 环境下部署 KTransformers详细步骤

注意：前提条件已安装好Anaconda、NOTE.JS（最新版）、Python 3.11、cuda 和cuDNN。

1、建立conda环境

#Conda python3.11版本下创建Ktransformers独立环境
conda create -n Ktransformers021  python=3.11 
#激活使用环境
conda activate Ktransformers021 

2、安装必要的组件包

pip install torch packaging ninja cpufeature numpy

3、更换torch为GPU版本(默认安装CPU版本)

#卸载刚安装的torch
pip uninstall torch 
​
#安装匹配系统及GPU版本的torch 这里需要注意!需要安装跟系统一致的版本，包括操作系统、语言环境、CUDA版本(官网下载https://pytorch.org/)
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124    

4、下载源码

#0.2.1版本
git clone https://github.com/kvcache-ai/ktransformers.git
cd ktransformers
git submodule init
#更新下载子模块（子目录模块）
git submodule update

5、编译源码并安装

(1)先编译WEB部分（如果需要运行 Web 界面）

cd ktransformers/website/

npm install @vue/cli

npm run build

<