【transformers】TypeError: div() got an unexpected keyword argument ‘rounding_mode‘

最新推荐文章于 2025-02-06 16:00:45 发布
最新推荐文章于 2025-02-06 16:00:45 发布
阅读量1.8k 收藏
点赞数 1
分类专栏： pytorch 文章标签： 开发语言 transformer pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/w5688414/article/details/128059996
版权
在尝试使用transformers加载 allenai/led-base-16384 模型时遇到了错误，错误信息显示 torch 的 div() 函数不接受 'rounding_mode' 参数。问题的原因是 torch 版本过低，需要至少为1.8。解决方案是通过 pip 安装 torch==1.8 来升级 torch 版本。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

今天在使用transformers加载allenai/led-base-16384的时候，出现了下面的错误：

  File "/home/eric/anaconda3/envs/sent/lib/python3.7/site-packages/transformers/models/led/modeling_led.py", line 204, in forward
    query_vectors, key_vectors, self.one_sided_attn_window_size
  File "/home/eric/anaconda3/envs/sent/lib/python3.7/site-packages/transformers/models/led/modeling_led.py", line 465, in _sliding_chunks_query_key_matmul
    chunks_count = torch.div(seq_len, window_overlap, rounding_mode="trunc") - 1
TypeError: div() got an unexpected keyword argument 'rounding_mode'

我的transformers的版本是4.2.4
python版本是3.7
torch版本是1.7

搜了一下发现是我的torch版本太低，最低需要1.8

解决方法

升级1.7版本到1.8版本

pip install torch==1.8

参考文献

TypeError: div() got an unexpected keyword argument ‘rounding_mode’

TypeError: add_code_sample_docstrings() got an unexpected keyword argument ‘tokenizer_class‘解决方案
weixin_43178406的博客
09-15 3万+
本文主要介绍了TypeError: add_code_sample_docstrings() got an unexpected keyword argument 'tokenizer_class’解决方案，希望能对使用transformers的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
BaichuanPreTrainedModel._set_gradient_checkpointing() got an unexpected keyword argument enable 解决方案
热门推荐
weixin_43178406的博客
12-08 5万+
 本文主要介绍了BaichuanPreTrainedModel._set_gradient_checkpointing() got an unexpected keyword argument 'enable’解决方案，希望能对使用baichuan大模型的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
torch.div()不支持rounding_mode参数, TypeError: div() got an unexpected keyword argument ‘rounding_mode‘
东皇太一在此的博客
10-31 594
问题怎么定位的呢，把报错信息一股脑甩给chatgpt，问他什么意思，他就反馈说“在标准的Python库中，div() 函数不接受 rounding_mode 参数。”（虽然这个问题也不难，但是改偷的懒还是要偷）
TypeError: div() got an unexpected keyword argument ‘rounding_mode’
YuQiao0303的博客
08-23 3173
torch.div()方法的rounding_mode参数 似乎是torch1.8才引入的，我的torch版本太老了。那我直接再套一层floor代替呗。
6、。。。got an unexpected keyword argument 。。。。。等问题
Erudite_x的博客
01-23 5417
问题： 解决问题的办法 其实这个问题比较简单，就是因为在写视图时，没有加 可变参数 去你的views.py里面看看 希望对你们有帮助。
12.多变的函数参数
风中一叶
11-02 901
1.定义函数的时候，吧函数的参数和参数的位置确定下来，加上函数体及return返回值，函数定义就完成了。函数内部复杂的逻辑被封装起来，调用者只需要知道需要传哪些参数，产生什么返回值就可以了。 2.python定义函数参数的灵活性非常大，有必选参数、默认参数、可变参数、关键字参数、参数组合等形式出现 3.位置参数：按照位置排列好的参数 4.默认参数：函数的某一个参数比较固定，我们可以为其设置默...
TypeError:__init__() got an unexpected keyword argument 'xxx'
zhongxuejiwen的博客
07-27 4万+
第一用parcharm连接MySQL数据库时候，出现如下错误：> Traceback (most recent call last): File > "F:/pycharm/数据库mysql/connect1.py", line 10, in <module> > charset = '' File "D:\program files (x86)\python35\lib\site-
在学习Python时遇到的一些项目bug
Januea的博客
07-04 7557
Python项目运行遇到的错误
TypeError: forward() got an unexpected keyword argument ‘inputs_embeds‘
weixin_51278988的博客
06-06 1708
TypeError: forward() got an unexpected keyword argument 'inputs_embeds'，llama3
BUG TypeError: GPT2Model.forward() got an unexpected keyword argument ‘past’
集电极
07-02 775
这是由于新版的transformers 对GPT2Model.forward() 参数进行了改变导致的错误。找到错误语句，将其中的。
关于使用transformers的Trainer微调报错 TypeError:model. forward() got an unexpected keyword argument ‘labels‘
m0_67547784的博客
02-06 1122
在运行trainer.train()时，报错TypeError: Qwen2Model.forward() got an unexpected keyword argument 'labels'在尝试AutoModelForCausalLM后，发现居然跑通了！起初认为时在构造数据集时定义的问题，但是在调试过程中发现trainer的构造。以为可以解决问题了，emmmmm发现作者找到了问题，但是最终并没有解决问题。然后突发奇想，去GitHub查看了Qwen的官方使用手册，然后百度了数篇文章，看到了。
批训练错误之got an unexpected keyword...
ThunderF的博客
07-05 2万+
目录提要原始情况初步调试继续调试最后反思 提要        最近我在学习莫烦的神经网络的批训练时，遇到了一个问题，就是在创建dataset时报__init__() got an unexpected keyword argument 'data_tensor'，我找了很久都没有有效的结果。但是我偶然尝试了一下结果成功了，下面就...
报错：TypeError forward() got an unexpected keyword argument
T752462536的博客
04-01 2万+
已解决：TypeError: forward() got an unexpected keyword argument 报错：TypeError: forward() got an unexpected keyword argument 问题一 解决方案： sequence_output, pooled_output = self.bert_model(input_ids=token_ids, token_type_ids=token_type_ids, attention_mask=attention_
Python 集合和函数
weixin_53368860的博客
07-23 898
集合 集合的特征 集合是无序的，集合中的元素是唯一的，集合一般用于元组或者列表中的元素去重 集合的格式 格式 变量名=set() 变量名.add(元素) 必须不能初始化值 或 变量名={元素，元素，，，} 注意：下面写法为一个空字典，为空默认是字典，如果有数据在根据格式判断为字典还是集合 name={} 添加元素 add 案例 nums = {11,24,45,96,28} nums.add(42) print(nums) #{96, 42, 11, 45, 24, 28} update 案例 nu
PyTorch-1.10(五)--torch数学运算
Hanscal
05-11 4026
目录 元素操作 归纳操作 比较操作 频谱操作 其他操作 BLAS和LAPACK操作 元素操作 abs 计算输入中每个元素的绝对值。 absolute torch.abs()别名 acos 计算输入中每个元素的反余弦。 arccos torch.acos()别名 acosh 计算输入元素的
成功解决TypeError: forward() got an unexpected keyword argument ‘labels‘
创作高质量博文，分享知识，共同进步！
03-25 8610
🚀【独家揭秘】轻松搞定TypeError: forward()中的意外参数'labels'！ 遭遇TypeError: forward() got an unexpected keyword argument 'labels'？别慌！😉本博带您由浅入深，揭秘问题起因，提供实战解决方案！🔧理解PyTorch模型前向传播，让代码不再出错。💯更有代码示例和错误处理技巧，助您轻松应对常见挑战！🔍别再让错误绊倒您的深度学习之路，赶紧来学习吧！#TypeError #forward方法 #PyTorch模型
TypeError: makedirs() got an unexpected keyword argument ‘exist_ok‘
图灵追幕者博客录
05-11 710
bug解决。
AttributeError: ‘HTMLWriter‘ object has no attribute ‘_temp_names‘解决方法
weixin_45854758的博客
09-28 1414
报错AttributeError: 'HTMLWriter' object has no attribute '_temp_names'解决方法，以及报错TypeError: render() got an unexpected keyword argument ‘mode‘的解决方法
TypeError: HuggingFaceLLM.__init__() got an unexpected keyword argument 'tokenize_name'
最新发布
03-30
### HuggingFace LLM 初始化时出现 `TypeError` 错误的原因分析 当尝试初始化 Hugging Face 的 Transformer 模型时，如果遇到类似于 `TypeError: __init__() got an unexpected keyword argument 'tokenize_name'` 的错误，通常是因为传递给模型类构造函数的一个参数未被识别。这种问题可能由以下几个原因引起： #### 1. 参数名称拼写错误 在调用模型的 `__init__()` 方法时，可能存在参数名输入错误的情况。例如，假设开发者希望传入的是 `tokenizer_class` 而不是 `tokenize_name`，这可能导致上述错误。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained( "gpt2", tokenize_name="GPT2Tokenizer" # 此处应为 tokenizer_class 或其他有效参数 ) ``` 此代码片段中的 `tokenize_name` 是无效的关键字参数[^1]。正确的关键字可能是 `tokenizer_class` 或者其他支持的选项。 #### 2. 版本不兼容 另一个常见原因是使用的 Transformers 库版本与代码逻辑不符。某些参数可能仅存在于特定版本中，在较新或旧版库中已被移除或重命名。例如，早期版本可能不存在 `tokenizer_language` 这一参数[^3]，而后期版本则引入了新的功能和接口变化。 建议检查当前安装的 Transformers 版本并确认其文档说明： ```bash pip show transformers ``` 或者升级到最新稳定版本以匹配最新的 API 定义： ```bash pip install --upgrade transformers ``` #### 3. 非法参数传递至子模块方法 有时错误并非直接来自顶层模型实例化过程本身，而是间接影响到了内部组件的行为。比如加载量化配置文件时指定非法选项也会引发类似异常[^4]: ```python import bitsandbytes as bnb quantized_model = bnb.nn.Linear8bitLt(..., empty_init=True) # 如果该实现根本不接受名为empty_init的参数，则会抛出相应异常。 ``` 对于更复杂的自定义扩展场景(如通过继承原有类来增加额外属性)，务必仔细阅读官方指南以及源码注释部分了解哪些字段真正受控于目标对象及其父级结构之间关系链路之上。 --- 以下是针对此类问题的一般排查流程总结: - **验证参数合法性**: 对照所依赖的具体预训练模型类型对应的API签名表单逐一核对每一个设置项是否合理合法; - **同步环境状态**: 确认本地开发工具链各组成部分均处于一致水平下运作 (Python解释器版本号、第三方插件集合清单等); - **查阅变更日志记录**: 当发现某特性突然失效后第一时间翻阅项目维护方发布的Release Notes寻找线索. 最后附上一段修正后的示范脚本供参考: ```python from transformers import GPT2LMHeadModel, GPT2TokenizerFast try: model = GPT2LMHeadModel.from_pretrained('gpt2', pad_token_id=50256) except Exception as e: print(f"Error during initialization:{e}") if isinstance(model.config.tokenizer_class,str): tok_cls=getattr(__import__('transformers'),model.config.tokenizer_class,None) else: raise ValueError("Invalid Tokenizer Class Definition Found!") assert(tok_cls is not None),"Failed To Locate Matching Tokenizer Implementation!" tok_inst=tok_cls(vocab_file="./vocab.json", merges_file='./merges.txt') print("Successfully Initialized Both Model And Associated Text Processor Components.") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

农民小飞侠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值