如果开启了8bit量化加载,项目无法启动，参考此位置，选择合适的cuda版本

部署大语言模型过程，报错如标题，并发现同时出现的报错信息：

ImportError: Using load_in_8bit=True requires Accelerate: pip install accelerate and the latest version of
bitsandbytes pip install -i https://test.pypi.org/simple/ bitsandbytes or pip install bitsandbytes`

说明量化过程，需要 accelerate 与 bitsandbytes 模块。

安装后即可。