部署ktransformers,加载本地大模型

系统windows中的wsl2,ubuntu22.04

1.安装 WSL2，启用linux 系统

启用适用于 Linux 的 Windows 子系统：检查 Windows 功能中 “适用于 Linux 的 Windows 子系统” 是否开启，若未开启，可在命令提示符（管理员权限）中执行dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart，之后重启电脑。

检查 WSL2 的要求：对于 64 位系统，版本需 1903 或更高，版本号 18362 或更高；对于 ARM64 系统，版本需 2004 或更高，版本号 19041 或更高。可通过 “win + r”，在搜索框输入 “winver” 查看当前版本。同时，查看电脑是否开启开发人员模式。

启用虚拟机功能：在命令提示符（管理员权限）中执行dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart。

安装 Linux 内核更新包：下载地址为https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi，双击安装。

将 WSL2 设置为默认版本：在命令提示符中执行wsl --set-default-version 2。

安装选择的 Linux 发行版：进入https://docs.microsoft.com/en-us/windows/wsl/install-manual选择合适的系统安装包，如 ubuntu22.04。下载完成后，双击安装，第一次进入 Ubuntu 系统，需要设置用户名、密码等。

2.安装 Anaconda3

先下载 Anaconda3 安装包：https://www.anaconda.com/download/success 下载linux 版本，下载到 D盘下

wget -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2024.10-1-Linux-x86_64.sh

运行安装程序

bash Anaconda3-2024.10-1-Linux-x86_64.sh

更新环境变量

bash Anaconda3-2024.10-1-Linux-x86_64.sh

进入 WSL2 终端 Anaconda3 安装包的目录，如 D 盘可执行cd /mnt/d，然后执行bash Anaconda3-2024.06-1-Linux-x86_64.sh开始安装，安装过程一路回车输入 yes，最后一步建议输入 yes，会将 conda 环境变量写入～/.bashrc 文件中。
安装完成后可使用conda -V查看，若环境变量未生效，可通过vim ~/.bashrc在最后一行添加export PATH=$PATH:/path/to/anaconda3/bin，替换/path/to/anaconda3为实际安装路径，再执行source ~/.bashrc更新环境变量。

3.安装 CUDA
登录 WSL 后，根据 NVIDIA 下载页面的说明安装 CUDA 12.8，依次执行以下命令：也可以参考官方说明：https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=22.04&target_type=deb_local
原文链接：https://blog.youkuaiyun.com/qq_28817739/article/details/145371007

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.8.0/local_installers/cuda-repo-ubuntu2204-12-8-local_12.8.0-570.86.10-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2204-12-8-local_12.8.0-570.86.10-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2204-12-8-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda-toolkit-12-8

sudo apt-get update
sudo apt-get install build-essential cmake ninja-build

创建虚拟环境

conda create --name ktransformers python=3.11
conda activate ktransformers # you may need to run ‘conda init’ and reopen shell first
conda install -c conda-forge libstdcxx-ng # Anaconda provides a package called `libstdcxx-ng` that includes a newer version of `libstdc++`, which can be installed via `conda-forge`.
出现错误"Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ReadTimeoutError("HTTPSConnectionPool(host='conda.anaconda.org', port=443): Read timed out. (read timeout=9.15)")': /conda-forge/linux-64/repodata.json.zst"
参考https://blog.csdn.net/petterxf/article/details/139843697

strings ~/anaconda3/envs/ktransformers/lib/libstdc++.so.6 | grep GLIBCXX

确保已安装 PyTorch、packaging、ninja

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
pip3 install packaging ninja cpufeature numpy

安装

git clone https://github.com/kvcache-ai/ktransformers.git
cd ktransformers
git submodule init
git submodule update

bash install.sh

运行本地大模型

无网址运行:

ktransformers --model_path /mnt/m/damoxing/DeepSeek-R1-Distill-Qwen-32B-GGU --gguf_path /mnt/m/damoxing/DeepSeek-R1-Distill-Qwen-32B-GGU --port 10002

网址运行:

ktransformers --model_path /mnt/m/damoxing/DeepSeek-R1-Distill-Qwen-32B-GGUF --gguf_path /mnt/m/damoxing/DeepSeek-R1-Distill-Qwen-32B-GGU  --port 10002 --web True

或者你想用ktransformers启动服务器，model_path应该包括safetensor

ktransformers --type transformers --model_path /mnt/m/damoxing/DeepSeek-R1-Distill-Qwen-14B --port 10002 --web True