[踩坑记] CUDA环境下bitsandbytes安装报错/异常解决

关键词：模型量化，bitsandbytes，bitsandbytes报错，大模型环境，CUDA环境

1. 问题描述

在部署大模型LLaMA的过程中，需要安装量化工具包bitsandbytes，环境如下：
操作系统：Ubuntu 18.04
GPU：4xA100 40G
CUDA：11.7
cuDNN：8.4
bitsandbytes: 0.38.0 github库

在conda python环境下，通过pip install bitsandbytes直接安装，或是按源码编译安装，在python -m bitsandbytes检测时均出现异常。详见ISSUES），主要异常内容如下：

File 'bitsandbytes/cextension.py', line 20, in <module> raise RuntimeError('''
RuntimeError:
CUDA Setup failed despite GPU being available. Inspect the CUDA SETUP outputs above to fix your environment!
''')

在环境变量LD_LIBRARY_PATH中增加CUDA的lib路径，问题依旧。重新编译出现异常内容如下：

nvcc fa