安装运行bitsandbytes失败

已于 2023-09-15 15:26:56 修改
阅读量1.7k 收藏 1
点赞数 1
文章标签： python 深度学习 开发语言
于 2023-09-14 14:03:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/china_xin1/article/details/132874637
版权
文章描述了解决在使用bitsandbytes库时遇到的CUDASetup失败问题，涉及的步骤包括从GitHub克隆库、设置CUDA环境变量、安装CUDA和调整Python环境。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题1：Loading binary /data/miniconda3/envs/whisper/lib/python3.9/site-packages/bitsandbytes/libbitsandbytes_cuda118.so...
libcusparse.so.11: cannot open shared object file: No such file or directory

......

RuntimeError: 
        CUDA Setup failed despite GPU being available. Please run the following command to get more information:
        python -m bitsandbytes

解决方法：

        

git clone https://ghproxy.com/https://github.com/timdettmers/bitsandbytes.git

cd bitsandbytes

bash cuda_install.sh 118 /data/cuda 1

CUDA_HOME=/data/cuda/cuda-11.8/ CUDA_VERSION=118 make cuda11x

python -m bitsandbytes

# 对应环境本地安装
python setup.py install

china_xin1
关注
关于bitsandbytes安装报错
cy853043693的博客
08-23 4598
关于微调大语言模型绕不开安装bitsandbytes，有很多小伙伴会报以上的error参考GitHub上bitsandbytes的issue发现很多人给了一些错误的方向，实际问题就是CUDA环境不干净，参考优快云回答cuDNNCUDA我尝试了一种新的思路，或许不用删除CUDA程序（因为隐患很大）在重新配置环境之后保存导致我退出了虚拟环境，偶然进入了系统环境，然后离奇的发现安装完bitsandbytes之后可以直接进行python -m bitsandbytes显示安装成功。
Bitsandbytes最新版本编译安装
weixin_43867038的博客
09-25 5453
刚开始接触Flux，在ComfyUI上借用了前辈的一个流程，流程中用到了CheckpointLoaderNF4节点，从此开始了折腾之旅。。。。
windows下bitsandbytes安装报错解决
baidu_32683111的博客
12-04 2056
最后找了半天，github：https://github.com/jllllll/bitsandbytes-windows-webui/releases有个。bitsandbytes安装，windows环境每次都遇到这种报错，记录下。有报错，但不影响，继续跑Chinese-LLaMA-Alpaca是正常的。，然而并卯什么卵用，
【Python】bitsandbytes 库：为 PyTorch 提供低精度（k-bit）优化和量化功能
最新发布
彬彬侠的博客
04-20 1049
bitsandbytes 是一个轻量级的 Python 库，专注于为 PyTorch 提供低精度（k-bit）优化和量化功能，主要用于降低大型语言模型（LLM）在训练和推理过程中的内存消耗，同时保持性能。它通过 CUDA 自定义函数实现 8 位和 4 位量化、优化器和矩阵乘法操作，特别适合在 GPU 上运行深度学习任务。以下是对 bitsandbytes 库的详细介绍，包括其功能、主要模块、用法和注意事项。
bitsandbytes 安装和配置指南
gitblog_07972的博客
09-13 3397
bitsandbytes 安装和配置指南 bitsandbytes 8-bit CUDA functions for PyTorch 项目地址: https://gitcode.com/gh_mirrors/bi/bitsandb...
关于windows上运行bitsandbytes老是报错的（说cuda版本有问题）解决方案
dalaomanzou的博客
09-21 9652
最后在网上找到高人的回复，原来一开始就想错方向了，根本就是这个bitsandbytes的版本不对，整死个人。甚至自己在那里加些莫名其妙的环境变量（后来才知道那玩儿是linux上才用的环境变量），醉了。甚至以为是环境变量有问题，没有对应的环境变量，导致程序找不到对应的cuda环境。所以多方尝试，卸载了又装，多个cuda版本都卸载和安装了多次，以排查问题。本来我就奇怪，我都进的是虚拟环境了，怎么还是cuda环境有问题。我以为是自己电脑上装了多个版本的cuda，导致冲突。报错问题基本上都是什么。
大模型训练时关于bitsandbytes安装的问题
weixin_45582028的博客
12-27 2405
打开源码，找到文件“/home/user (自己位置)/anaconda3/envs/环境名字/lib/python3.11/site-packages/bitsandbytes/cuda_setup/main.py”找到文件“/home/user (自己位置)/anaconda3/envs/环境名字/lib/python3.11/site-packages/bitsandbytes/cuda_setup/main.py”没有指定版本，则尝试方案二。
Windows平台的bitsandbytes库安装指南
用户可以通过pip直接安装“bitsandbytes-0.41.0-py3-none-win_amd64.whl”文件，这个文件是Windows平台下bitsandbytes库的轮子（wheel）文件，适用于64位Windows系统和Python 3。 知识点五：文件名称列表解释 文件...
bitsandbytes-0.41.1
04-03
### 关于 `bitsandbytes` 库版本...需要注意的是，尽管这些轮子文件允许在 Windows 系统上运行 `bitsandbytes`，但由于并非由官方维护，可能存在一定的风险或功能缺失情况。因此，在生产环境中使用前需充分测试稳定性。
ModuleNotFoundError: No module named 'bitsandbytes.cuda_setup'
04-03
在多 Python 环境下运行可能导致路径解析失败或模块不可见的情况。建议创建一个新的虚拟环境并单独安装所需依赖项[^3]。 创建新的 Conda 虚拟环境： ```bash conda create -n new_env python=3.9 conda activate ...
ERROR: Could not find a version that satisfies the requirement bitsandbytes-cuda121 (from versions: none) ERROR: No matching distribution found for bitsandbytes-cuda121
03-20
</think>### 解决bitsandbytes-cuda121安装失败问题的方法 #### 1. 确认CUDA版本匹配 - bitsandbytes-cuda121需要CUDA 12.1环境支持。通过以下命令检查CUDA版本： ```bash nvidia-smi # 查看右上角显示的CUDA版本...
[踩坑记] CUDA环境下bitsandbytes安装报错/异常解决
热门推荐
chenyang2203的博客
05-06 3万+
部署大模型LLaMA的过程中安装量化工具包bitsandbytes问题解决
bitsandbytes cuda12.1源码安装，无root权限，多cuda版本，多种架构显卡
AsanoKiri的博客
12-19 1229
我的服务器GPU架构有80和75（两种卡，百度如何查看GPU architechture可以在Nvidia官网找到），这里CUDA Targets却有一系列低版本，我的nvcc当然不支持，找教程提示可以在export 变量或者cmake -DCMAKE_CUDA_ARCHITECTURES直接设置，但我这里都没有用，所以上一步设置为OFF。这是因为你去看了.so，所以你在/bitsandbytes/bitsandbytes文件夹下，里面有个trition，它并没有language……，但遇到了很多问题，
大模型GPU安装bitsandbytes报错解决
大数据之眸
08-15 5485
在conda python环境下，通过pip install bitsandbytes直接安装，或是按源码编译安装，在python -m bitsandbytes检测时均出现异常。操作系统：Ubuntu 22.04。
Py之bitsandbytes：bitsandbytes的简介、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-22 2万+
​ Py之bitsandbytes：bitsandbytes的简介、安装、使用方法之详细攻略 目录 bitsandbytes的简介 bitsandbytes的安装 bitsandbytes的使用方法 bitsandbytes的简介 bitsandbytes是对CUDA自定义函数的轻量级封装，特别是针对8位优化器、矩阵乘法（LLM.int8()）和量化函数。 GitHub：https://github.com/TimDettmers/bitsandbytes
[踩坑记] Linux环境下bitsandbytes安装是后报错解决
weixin_45837404的博客
07-25 2764
测试LLM安装依赖bitsandbytes报错！
bitsandbytes 安装记录
m0_46333774的博客
11-02 2441
本文为安装bitsandbytes过程的记录，尝试从pip 和 源编译 bitsandbytes，过程中无 root 安装 cmake 和 gcc，最后 cmake 成功安装，gcc 安装失败。bitsandbyes 最后通过从 python 3.10 改为 python 3.8 安装成功
【个人笔记】windows 安装bitsandbytes，auto-gptq
M2087的博客
06-21 3838
aoto-gptq目前好像只支持cuda11.7和11.8。怒...我的cuda11.6重装了(虽然并没有很麻烦)
windows上运行bitsandbytes报错
xiaoxian666的博客
04-24 1136
库, 支持 CUDA 11.1 到 12.2, 根据您的 CUDA 版本情况选择适合的。如果要在 Windows 平台上开启量化 LoRA（QLoRA），需要安装预编译的。（2）安装 bitsandbytes-windows。（1）直接安装预编译的库。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值