文章讨论了在Windows系统中4bit量化版本可能导致的错误，由于bitsandbytes不支持，推荐使用8bit量化。此外，还提到内存不足时的离线加载权重方法，并提醒读者注意CUDA、Python和PyTorch版本匹配，对于遇到的问题可在评论区寻求帮助。
1.4bit的量化版本最好不要在Windows系统中运行，大概原因报错原因是bitsandbytes不支持window，bitsandbytes-windows目前仅支持8bit量化。
2.
报错原因是机器没有足够的内存和显存，offload_folder设置一个文件夹来保存那些离线加载到硬盘的权重。
ag：需要再cli_demo.py的文件中增加
offload_folder="offload" model.float()
3.安装对应的cuda版本 Python版本 pytorch版本
读者有bug可以在评论区留言，我会尽可能回复解答
您可能感兴趣的与本文相关的镜像
PyTorch 2.5
PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理
6493
1626
1761
扫一扫
到【灌水乐园】发言
