最近在学习AI知识,试图在安装最近爆火的mamba模型时遇到困难。参考网上各位达人,经过努力,终于在win11系统anaconda中成功编译安装了mamba包。
我用的是visual studio 2019
1.在windows下构建Mamba使用环境:
conda create -n mamba python=3.10
conda activate mamba
注:Mamba需要triton,然而triton没有windows版,有人编译了triton2.0.0的windows版本,但python是3.10的。所以需要创建python-3.10的环境
2.安装torch:
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
这里torch很大,下载很慢,我是用迅雷下载后安装的
3.安装cmake
pip install cmake
4.安装triton
下载triton2.0.0的windows二进制文件,地址:https://hf-mirror.com/r4ziel/xformers_pre_built/blob/main/triton-2.0.0-cp310-cp310-win_amd64.whl,安装:
pip install D:\Downloads\triton-2.0.0-cp310-cp310-win_amd64.whl
5.下载mamba的源码并安装依赖包
git clone https://github.com/state-spaces/mamba,
切换到mamba目录:
cd mamba
修改setup.py,添加编译参数:-DM_LOG2E=1.44269504
注:selective_scan_fwd_kernel.cuh和selective_scan_bwd_kernel.cuh使用了次预定义常量,但文件里没定义。