Qwen2模型量化时关于bitsandbytes安装的问题

最新推荐文章于 2025-06-28 19:25:54 发布
最新推荐文章于 2025-06-28 19:25:54 发布
阅读量653 收藏 5
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 人工智能 python中bug 文章标签： 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/MITA1/article/details/142256842

Qwen2模型量化时关于bitsandbytes安装的问题

问题描述：

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig,BitsAndBytesConfig
CUDA_DEVICE = "cuda:0"
model_name_or_path = '/qwen2-1.5b-instruct'
Tokenizer = AutoTokenizer.from_pretrained(model_name_or_path,use_fast=False)
bnb_config = BitsAndBytesConfig(
                    load_in_4bit=True,
                    bnb_4bit_use_double_quant=True,
                    bnb_4bit_quant_type="nf4",
                    bnb_4bit_compute_dtype
最低0.47元/天 解锁文章

200万优质内容无限畅学
开源模型应用落地-qwen2-7b-instruct-LoRA微调&模型合并-LLaMA-Factory-单机多卡-RTX 4090双卡（六）
以微薄之力，予他人些许温暖.
08-16 2万+
使用LLaMA-Factory合并微调后的模型权重
开源模型应用落地-Qwen2-7B-Instruct-GPTQ-Int4与vllm-单机多卡-RTX 4090双卡（十二）
热门推荐
以微薄之力，予他人些许温暖.
08-07 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct-gptq-int4
Bitsandbytes最新版本编译安装
weixin_43867038的博客
09-25 5885
刚开始接触Flux，在ComfyUI上借用了前辈的一个流程，流程中用到了CheckpointLoaderNF4节点，从此开始了折腾之旅。。。。
【免费下载】 bitsandbytes 安装和配置指南
gitblog_07972的博客
09-13 4123
bitsandbytes 安装和配置指南 1. 项目基础介绍和主要编程语言 项目基础介绍 bitsandbytes 是一个轻量级的 Python 库，主要用于在 PyTorch 中实现 k-bit 量化，从而使得大规模语言模型（LLM）更加易于访问和使用。该库通过 CUDA 自定义函数，特别是 8-bit 优化器和矩阵乘法（LLM.int8()），以及 8 和 4-bit 量化函数，提供了高效的量...
bitsandbytes项目安装指南：从CUDA到多后端支持详解
gitblog_00433的博客
06-06 519
bitsandbytes项目安装指南：从CUDA到多后端支持详解 bitsandbytes是一个专注于高效深度学习计算的Python库，特别针对大模型训练和推理场景进行了优化。本文将全面介绍如何在不同硬件平台上安装和使用bitsandbytes，包括NVIDIA CUDA、AMD ROCm和Intel XPU等多种计算后端。 硬件要求与兼容性 bitsandbytes的核心功能对硬件有特定要求，主...
【经验】bitsandbytes安装-LLAVA-1.5库调试
最新发布
Toky_min的博客
06-28 752
【环境配置问题摘要】在H100显卡（Ubuntu 20.04/CUDA 12.1&12.6）运行LLaVA-1.5时出现bitsandbytes库兼容性问题。错误显示系统无法找到匹配的CUDA运行时库（libcudart.so.11.0/12.0），且检测到路径冲突和非预期目录。尝试通过降级到CUDA 11.8和PyTorch 2.0.0+cu118解决，但后续出现FlashAttention的libc10.so和libcudart.so.11.0缺失问题。临时方案包括：添加LD_LIBRARY_P
【个人笔记】windows 安装bitsandbytes，auto-gptq
M2087的博客
06-21 3915
aoto-gptq目前好像只支持cuda11.7和11.8。怒...我的cuda11.6重装了(虽然并没有很麻烦)
大模型训练时关于bitsandbytes安装的问题
weixin_45582028的博客
12-27 2561
打开源码，找到文件“/home/user (自己位置)/anaconda3/envs/环境名字/lib/python3.11/site-packages/bitsandbytes/cuda_setup/main.py”找到文件“/home/user (自己位置)/anaconda3/envs/环境名字/lib/python3.11/site-packages/bitsandbytes/cuda_setup/main.py”没有指定版本，则尝试方案二。
QLoRA 精调国产大模型实战教程：Qwen / DeepSeek / Baichuan 通吃方案
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-02 755
模型LoRA微调适配Hugging Face支持推荐人群优点注意事项Qwen✅ 非常好✅ 完善所有人稳定、开源协议好几乎无坑DeepSeek✅ 良好（需 MoE配置）✅进阶用户性能强、中文好MoE结构复杂Baichuan⚠️ 一般✅（需手动 patch）熟悉HF结构者中文能力强格式多样、tokenizer易出错Yi 系列✅（需单独格式）✅高阶玩家多模态支持prompt 格式需重写目标推荐配置稳定收敛2e-5，epochs:34小显卡部署。
Qwen2.5 模型精调实战：使用 QLoRA + 自定义指令微调
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
03-30 1229
手把手教你如何使用轻量化技术 QLoRA 对 Qwen2.5 模型进行本地微调，包括准备指令数据集、搭建训练环境、训练参数配置、结果推理与评估部署，帮助你快速打造自己的专属国产大模型。
bitsandbytes 报错
weixin_43967256的博客
10-24 1645
配置一下环境变量就好了。
windows上bitsandbytes报错：AttributeError: module ‘bitsandbytes‘ has no attribute ‘nn‘
dandandancpop的博客
12-29 2870
bitsandbytes版本不对。
bitsandbytes 安装记录
m0_46333774的博客
11-02 2656
本文为安装bitsandbytes过程的记录，尝试从pip 和 源编译 bitsandbytes，过程中无 root 安装 cmake 和 gcc，最后 cmake 成功安装，gcc 安装失败。bitsandbyes 最后通过从 python 3.10 改为 python 3.8 安装成功
bitsandbytes cuda12.1源码安装，无root权限，多cuda版本，多种架构显卡
AsanoKiri的博客
12-19 1398
我的服务器GPU架构有80和75（两种卡，百度如何查看GPU architechture可以在Nvidia官网找到），这里CUDA Targets却有一系列低版本，我的nvcc当然不支持，找教程提示可以在export 变量或者cmake -DCMAKE_CUDA_ARCHITECTURES直接设置，但我这里都没有用，所以上一步设置为OFF。这是因为你去看了.so，所以你在/bitsandbytes/bitsandbytes文件夹下，里面有个trition，它并没有language……，但遇到了很多问题，
Py之bitsandbytes：bitsandbytes的简介、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-22 2万+
​ Py之bitsandbytes：bitsandbytes的简介、安装、使用方法之详细攻略 目录 bitsandbytes的简介 bitsandbytes的安装 bitsandbytes的使用方法 bitsandbytes的简介 bitsandbytes是对CUDA自定义函数的轻量级封装，特别是针对8位优化器、矩阵乘法（LLM.int8()）和量化函数。 GitHub：https://github.com/TimDettmers/bitsandbytes
windows上运行bitsandbytes报错
xiaoxian666的博客
04-24 1197
库, 支持 CUDA 11.1 到 12.2, 根据您的 CUDA 版本情况选择适合的。如果要在 Windows 平台上开启量化 LoRA（QLoRA），需要安装预编译的。（2）安装 bitsandbytes-windows。（1）直接安装预编译的库。
Ubuntu18.04+CUDA11安装bitsandbytes出现的问题
steptoward的博客
01-10 3668
大意是bitsandbytes库在环境中找到了libcudart.so， 但是这与bitsandbytes需要使用的不一致。查看了一下当前系统查找动态库的路径，发现的确不存在，将查找到的路径添加进去便解决这个问题了。安装了，运行发现使用这个库还需要与cuda版本匹配, 于是根据报错内容逐步进行解决。查找了一下需要的动态库是否存在于系统中，发现在系统中能够查找到之后，成功后会输出在系统中找到的多个动态库路径等信息，输出的结尾中会显示。最后重新安装bitsandbytes，运行。于是，按照报错中的提示，首先。
大模型微调bitsandbytes报错（Windows有关cuda版本等）
小嘤熊的博客
12-13 1915
设计、matlab appdesigner，gui设计、simulink仿真......希望能帮到你！大语言模型(LLaMa、qwen等)进行微调时，考虑到减少显存占用，会使用如下方式加载模型。小编会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、
bitsandbytes 报错心得
LJR的博客
04-12 617
bitsandbytes 库配置 报错 RuntimeError: CUDA Setup failed despite GPU being available. Please run the following command to get more information:
MBQ 量化Qwen模型和推理实战教程
03-14
好的，我需要帮用户找到关于Qwen模型量化及推理实战的教程，特别是MBQ相关的信息。首先，用户提到了引用[1]和[2]，所以我要先看看这些资料里有没有相关内容。 引用[1]提到的是Qwen1.5-7B-Chat的GPTQ-Int8量化方法，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wang151038606

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值