transformers加载huggingface模型报错ValueError: Connection error, and we cannot find……

一、问题

使用加载模型的from_pretrained(google-bert/bert-base-uncased)方法时报错

二、原因

1、网络不行,无法从Huggingface加载模型
2、同时本地缓存文件没有模型

三、解决方法

1、搭个梯子试试
2、下载模型到本地,下载链接如下:
Huggingface模型下载
例:
1)下载如下文件在这里插入图片描述
2)打包命名为bert-base-uncased文件夹
3)比如把bert-base-uncased文件夹放到/home/yl/model目录中
4)在代码中from_pretrained( google-bert/bert-base-uncased )改为from_pretrained( /home/yl/model/bert-base-uncased , local_files_only=True )
5)运行即可
PS:修改后from_pretrained()函数第一个输入是本地模型路径,第二个输入local_files_only=True表示只从指定路径读取,不添加这句会导致问题无法解决(即还从网上下载模型)

参考:
参考1
参考2
参考3
参考4

### GLM4-9B-Chat 模型运行时出现 `ValueError: too many values to unpack (expected 2)` 的解决方案 当遇到 `ValueError: too many values to unpack (expected 2)` 错误时,通常是因为代码中的某些部分试图解包过多的值。以下是针对此问题的具体分析和解决方法: #### 1. **检查模型加载逻辑** 如果是在加载 ChatGLM 3 或其他大语言模型时出现问题,则可能是由于数据结构或返回值的数量不符合预期所致[^1]。 - 确认模型加载函数是否正确配置。 - 查看是否有额外的数据被传递给变量分配。 #### 2. **Django 项目的上下文中排查** 若该错误发生在 Django 项目中,通常是由于视图、模板或其他组件中的元组拆分操作不当引起的[^2]。 - 审查涉及元组赋值的部分代码。 - 确保右侧表达式的长度与左侧变量数量一致。 #### 3. **确认依赖库版本一致性** 对于像 GLM-4 这样的大型预训练模型,其正常工作高度依赖特定版本的 Python 库。如果使用的库版本过旧或者存在冲突,可能会引发此类异常[^3]。因此建议: - 更新到最新版的相关框架和支持工具。 ```bash pip install --upgrade glm llama-factory transformers torch ``` #### 4. **验证输入参数合法性** 参考案例表明,在使用 Llama Factory 加载并调整 GLM4-9B-Chat 参数期间也可能触发类似的错误消息[^4]。这往往意味着传入的超参设置有问题或者是接口定义发生了变化却没有同步修改调用方实现。故而应当仔细核对官方文档说明以及实际编码情况是否存在偏差。 ```python from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("path/to/glm-model") model = AutoModelForCausalLM.from_pretrained("path/to/glm-model") # Example of correct tuple assignment during tokenization process. input_ids = tokenizer.encode("Your input text here.", return_tensors="pt")[0] print(input_ids.shape) ``` 上述脚本展示了如何利用 Hugging Face 提供的 API 正确初始化一个因果语言建模实例,并演示了一个简单的张量转换过程来避免潜在的多值分解陷阱。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值