ImportError: Using `bitsandbytes` 8-bit quantization requires Accelerate: `pip install accelerate`

最新推荐文章于 2025-01-16 09:36:22 发布
原创 最新推荐文章于 2025-01-16 09:36:22 发布 · 2.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pip

作者在使用MacM1设备和Python3.10.14环境下，虽然成功安装了Accelerate(版本0.29.3)及bitsandbytes(版本0.42.0)，但仍遇到关于8位量化错误的ImportError。文章提示需确保已正确安装并更新bitsandbytes库。
部署运行你感兴趣的模型镜像

ImportError: Using `bitsandbytes` 8-bit quantization requires Accelerate: `pip install accelerate` and the latest version of bitsandbytes: `pip install -i https://pypi.org/simple/ bitsandbytes`

 我的一些版本：

mac M1

python3.10.14

Successfully installed accelerate-0.29.3

bitsandbyte 0.42.0

但依然报错

您可能感兴趣的与本文相关的镜像

Python3.10

Python3.10

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

SheldonLiu0412
关注
python系列&deep_study系列：# ImportError: /usr/local/lib/python3.10/dist-packages/vllm/_C.cpython-310-x86
weixin_54626591的博客
08-12 1053
ImportError: /usr/local/lib/python3.10/dist-packages/vllm/_C.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZN2at4_ops15to_dtype_layout4callERKNS_6TensorEN3c108optionalINS5_10ScalarTypeEEENS6_INS5_6LayoutEEENS6_INS5_6DeviceEEENS6_IbEEbbNS6_INS5_12Mem
bitsandbytes 是 CUDA 自定义函数的轻量级包装器，特别是 8 位优化器、矩阵乘法 (LLM.int8()) 和量化函数。
强化学习曾小健
07-04 3376
对于 NLP 模型，我们还建议使用 StableEmbedding 层（见下文），这可以改善结果并有助于稳定的 8 位优化。请注意，默认情况下，所有少于 4096 个元素的参数张量都保持为 32 位，即使您使用 8 位优化器初始化这些参数也是如此。这样做是因为这样小的张量不会节省太多内存，并且通常包含高度可变的参数（偏差）或需要高精度的参数（批量规范、层规范）。为此，我们需要做两件事：(1) 在参数仍在 CPU 上时注册参数，(2) 使用新的所需超参数覆盖配置（随时随地）。如果这些不起作用，请参阅下文。
关于bitsandbytes安装报错
cy853043693的博客
08-23 4873
关于微调大语言模型绕不开安装bitsandbytes，有很多小伙伴会报以上的error参考GitHub上bitsandbytes的issue发现很多人给了一些错误的方向，实际问题就是CUDA环境不干净，参考优快云回答cuDNNCUDA我尝试了一种新的思路，或许不用删除CUDA程序（因为隐患很大）在重新配置环境之后保存导致我退出了虚拟环境，偶然进入了系统环境，然后离奇的发现安装完bitsandbytes之后可以直接进行python -m bitsandbytes显示安装成功。
使用colab下载大模型基模的时候报错处理
完颜振江
03-25 496
解决方案：安装依赖的时候用pip3。
【成功解决】ImportError: Using `load_in_8bit=True` requires Accelerate: `pip install accelerate` and the l
m0_58285863的博客
10-28 1392
部署或者使用大模型的使用，使用轻量化配置时可能会出现以下报错：ImportError: Using `load_in_8bit=True` requires Accelerate
ImportError: Using `load_in_8bit=True` requires Accelerate: `pip install accelerate` and the latest
完颜振江
04-03 1268
ImportError: Using `load_in_8bit=True` requires Accelerate: `pip install accelerate` and the latest
H100 使用bitsandbytes 进行模型 8Bit 量化时遇到报错：Exception: cublasLt ran into an error!
weixin_43667338的博客
11-05 810
根据git issue的讨论，这个问题实际上是 bitsandbytes 库对 H100/H800 这类 Hopper 架构 GPU 的 8-bit 量化不支持的根本问题。这个问题目前仍然处于开放状态，官方团队正在考虑对 Hopper 架构的支持。如果必须在 H100/H800 上运行，建议使用 4-bit 量化作为替代方案。硬件级别的兼容性问题无法通过代码优化来解决。
ImportError: Using `bitsandbytes` 4-bit quantization requires the latest version of bitsandbytes: `pip install -U bitsandbytes`
04-23
好的，用户遇到了在使用bitsandbytes进行4-bit量化时出现ImportError的问题，想要通过更新库来解决。首先，我需要回忆相关的引用内容，特别是引用[2]和[4]，它们提到了配置4-bit量化需要的步骤和可能的安装问题。 ...
load_in_8bit=True, ImportError: Using `bitsandbytes` 4-bit quantization requires the latest version of bitsandbytes
03-18
根据用户提供的引用[1]和[2]，当使用load_in_8bit=True时，系统会提示需要安装accelerate和最新版的bitsandbytes。这说明8-bit量化需要这两个库的支持。而用户现在想进行4-bit量化，可能类似的依赖关系也存在。不过...
--------------------------------------------------------------------------- ImportError Traceback (most recent call last) Cell In[6], line 7 1 bnb_config = BitsAndBytesConfig( 2 load_in_4bit=True, 3 bnb_4bit_quant_type="nf4", 4 bnb_4bit_compute_type=TORCH_DTYPE 5 ) ----> 7 model = AutoModelForCausalLM.from_pretrained( 8 MODEL_NAME, 9 device_map="auto", # 自动分配到 GPU/CPU 10 quantization_config=bnb_config, # 量化配置 11 torch_dtype=TORCH_DTYPE, # 指定数据类型 12 trust_remote_code=False 13 ) 15 # 启用梯度检查点（节省内存，但会变慢） 16 model.gradient_checkpointing_enable() File f:\Programmer\python\MyAI\.venv\Lib\site-packages\transformers\models\auto\auto_factory.py:563, in _BaseAutoModelClass.from_pretrained(cls, pretrained_model_name_or_path, *model_args, **kwargs) 561 elif type(config) in cls._model_mapping.keys(): 562 model_class = _get_model_class(config, cls._model_mapping) --> 563 return model_class.from_pretrained( 564 pretrained_model_name_or_path, *model_args, config=config, **hub_kwargs, **kwargs 565 ) 566 raise ValueError( 567 f"Unrecognized configuration class {config.__class__} for this kind of AutoModel: {cls.__name__}.\n" 568 f"Model type should be one of {', '.join(c.__name__ for c in cls._model_mapping.keys())}." 569 ) File f:\Programmer\python\MyAI\.venv\Lib\site-packages\transformers\modeling_utils.py:3165, in PreTrainedModel.from_pretrained(cls, pretrained_model_name_or_path, config, cache_dir, ignore_mismatched_sizes, force_download, local_files_only, token, revision, use_safetensors, *model_args, **kwargs) 3162 hf_quantizer = None 3164 if hf_quantizer is not None: -> 3165 hf_quantizer.validate_environment( 3166 torch_dtype=torch_dtype, from_tf=from_tf, from_flax=from_flax, device_map=device_map 3167 ) 3168 torch_dtype = hf_quantizer.update_torch_dtype(torch_dtype) 3169 device_map = hf_quantizer.update_device_map(device_map) File f:\Programmer\python\MyAI\.venv\Lib\site-packages\transformers\quantizers\quantizer_bnb_4bit.py:62, in Bnb4BitHfQuantizer.validate_environment(self, *args, **kwargs) 60 def validate_environment(self, *args, **kwargs): 61 if not (is_accelerate_available() and is_bitsandbytes_available()): ---> 62 raise ImportError( 63 "Using `bitsandbytes` 8-bit quantization requires Accelerate: `pip install accelerate` " 64 "and the latest version of bitsandbytes: `pip install -i https://pypi.org/simple/ bitsandbytes`" 65 ) 67 if kwargs.get("from_tf", False) or kwargs.get("from_flax", False): 68 raise ValueError( 69 "Converting into 4-bit or 8-bit weights from tf/flax weights is currently not supported, please make" 70 " sure the weights are in PyTorch format." 71 ) ImportError: Using `bitsandbytes` 8-bit quantization requires Accelerate: `pip install accelerate` and the latest version of bitsandbytes: `pip install -i https://pypi.org/simple/ bitsandbytes`
最新发布
11-29
ImportError: Using `bitsandbytes` 8-bit quantization requires Accelerate: `pip install accelerate` and the latest version of bitsandbytes: `pip install -i https://pypi.org/simple/ bitsandbytes` ...
【hugging face】bitsandbytes中8 bit量化的理解
qq_42725437的博客
12-09 1881
因此，本质上，我们执行矩阵乘法以节省精度，然后将非异常值结果拉回到 FP16，而非异常值的初始值和按比例缩小后的值之间没有太大差异。8 位量化使数十亿参数规模的模型能够适应更小的硬件，而不会降低性能。3.改变非异常值结果以将值拉回到 FP16，并将它们添加到 FP16 中的异常值结果中。2.对 FP16 中的离群值和 int8 中的非离群值执行矩阵乘法。1.从输入隐藏状态中按列提取较大值（离群值）。
解决AttributeError: module ‘bitsandbytes.nn‘ has no attribute ‘Linear8bitLt‘
gaohongfeng1的博客
12-27 1816
在做量化时，peft包下面tuning目录的lora.py文件中调用了bitsandbytes的nn.Linear8bitLt 对象，但是bitsandbytes-113没有在这个属性。最后我排查了各种原因，比如找不到libcud...so等文件，反复find 文件，然后把路径都补到环境变量里，上面的版本已经不支持了，需要重新装bitsandbytes。最终的原因还是Nvidia driver 版本太低；
如果开启了8bit量化加载,项目无法启动，参考此位置，选择合适的cuda版本
qq_42544924的博客
06-28 4310
说明量化过程，需要 accelerate 与 bitsandbytes 模块。
Pytorch安装失败解决办法(pip install torch提示安装失败;import torch 提示 from torch._C import *   ImportError: DLL l)
热门推荐
蔡致润的博客
02-25 5万+
问题1：使用Python的pip 安装命令: pip install torch  会提示安装失败 问题2：import torch 提示 from torch._C import *   ImportError: DLL load failed:找不到指定模块   安装环境： Windows Server 2012 R2 Python 3.7  PyTorch 1.0.0 安装步骤：...
Py之bitsandbytes：bitsandbytes的简介、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-22 3万+
​ Py之bitsandbytes：bitsandbytes的简介、安装、使用方法之详细攻略 目录 bitsandbytes的简介 bitsandbytes的安装 bitsandbytes的使用方法 bitsandbytes的简介 bitsandbytes是对CUDA自定义函数的轻量级封装，特别是针对8位优化器、矩阵乘法（LLM.int8()）和量化函数。 GitHub：https://github.com/TimDettmers/bitsandbytes
【亲测免费】 FP8 量化项目使用教程
gitblog_00223的博客
09-02 372
FP8 量化项目使用教程 本文档基于开源项目 FP8 Quantization 编写，旨在提供项目的详细使用指南。 1. 项目目录结构及介绍 项目的目录结构如下： FP8-quantization/ ├── models/ │ ├── quantization/ │ └── ... ├── utils/ │ └── ... ├── .gitignore ├── LICENSE ├── ...
大模型训练时，使用bitsandbytes报错的解决方法
anycall201的博客
04-03 3万+
使用bitsandbytes加载模型出现"The installed version of bitsandbytes was compiled without GPU support."警告的解决办法
为什么需要configuring bitsandbytes for 4-bit quantization
陈开心的博客
01-16 848
"Configuring bitsandbytes for 4-bit quantization" 是指在使用 bitsandbytes 这个库时，设置模型参数的位数为 4-bit 来进行量化处理。量化是指将原本高精度的浮点数数据（通常是 32 位或 16 位浮点数）转化为低精度的整数数据（如 4 位整数），这样可以大幅减少模型存储空间和计算资源的需求，特别是在硬件资源受限的情况下，比如在边缘设备或者移动端部署时。
部署应用llama-2-7b模型
weixin_51867095的博客
09-23 3176
部署应用llama-2-7b的详细操作（包括下载、转hf以及运行）及报错解决
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值