BERT使用过程中的碰到的那些报错

最新推荐文章于 2025-03-14 11:10:05 发布
最新推荐文章于 2025-03-14 11:10:05 发布
阅读量4.1k 收藏 5
点赞数 3
分类专栏： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lxslx/article/details/89434780
版权

BERT是谷歌2018年提出的语言模型，在十几个任务上达到了state-of-art。在这里本人在使用过程中总结了一下遇到的错误。

BERT推荐在TPU上运行，但是资源有限在GPU上跑也行，不行也能在cpu上跑（ps就是有些慢）

 

官方BERT的版本建议在tensorflow>=1.11的版本上运行，但是在本人服务器安装的是tensorflow-gpu=1.12的情况下，程序报错，

AttributeError: module 'tensorflow.python.platform.flags' has no attribute 'mark_flag_as_required'

根据官方回答是此版本没有这个属性（ps坑爹），于是只能安装其他版本的tensorflow

但根据测试其实低于1.11版本也可以运行的，就是1.12不能运行。

而且由于服务器的cuda版本是8.0，高版本的tensorflow-gpu不支持，报错

在cuda官网有相应的tensorflow版本推荐

也可以直接安装cpu版本的tensorflow，在linux服务器下安装anaconda比较方便，anaconda自带pyhon环境

最低0.47元/天 解锁文章
ModuleNotFoundError: No module named ‘transformers.modeling_bert‘解决方案
weixin_43178406的博客
09-13 3万+
本文主要介绍了ModuleNotFoundError: No module named 'transformers.modeling_bert’解决方案，希望能对学习BERT的同学们有所帮助。需要特别说明的是本方法不需要降级transformers的版本，希望能对使用Pytorch的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
成功解决Connection error, and we cannot find the requested files in the cached path. Please try again
m0_63977857的博客
09-16 1万+
成功解决Connection error, and we cannot find the requested files in the cached path. Please try again or make sure your Internet connection is on.
AttributeError: ‘tuple‘ object has no attribute ‘layer‘
mzh9986的博客
04-25 1200
只需要将import keras改成 import tensorflow.keras就好了 另外， keras-bert需要tf 2以上
运行Clip多模态模型报错：OSError: Can‘t load tokenizer for ‘bert-base-chinese‘
liu5z666的博客
03-14 630
然后将net/clip.py的from_pretrained（）部分换为下载了以上模型的绝对路径。继续运行发现存在np版本更新的问题，将utils/utils_aug.py的np.int换为np。1.OSError加载模型文件出现。，将以下三个文件下载到本地。
与Bert结构不完全相同的模型从.ckpt 转换为.bin.报错：AttributeError: ‘BertForPreTraining‘ object has noattribute ‘bias“
weixin_41318625的博客
05-04 2445
与Bert结构不完全相同模型 从.ckpt 转换为.bin 从tensorflow转换为pytorch AttributeErroor:" BertForPreTraining' object has no attribute “bias“
python处理大训练集过程中遇到的Memory Error问题解决
热门推荐
William Zhao's notes
03-27 4万+
python处理大数据集时容易出现内存错误也就是内存不够用。1. python原始的数据类型占用空间比较大，且没有太多的选择，默认一般好像是24字节，但是实际有时候不需要这么大或这么高精度，这时候可以使用numpy中的float32， float16等，总之根据自己的需要选够用就行，这就是好几倍的内存节省。2. python的垃圾回收机制比较懒惰，有时候在一个for循环中的变量用完不会回收，下次重...
Transformers使用bert模型预留的[unused*]时遇到的问题：torch.embedding IndexError: index out of range in self
持续战斗状态的博客
11-19 2744
先报错了CUDA error: device-side assert triggered 然后模型放到cpu里查看具体原因，报错了： torch.embedding(weight, input, padding_idx, scale_grad_by_freq, sparse) IndexError: index out of range in self 最后发现是因为改了bert预留的[unused*]导致的问题： tokenizer = BertTokenizer.from_pretrained(pret
基于微调BERT的中文评论情感分类模型（支持CPU、GPU）
PXFQL的博客
12-15 4904
基于微调BERT的中文评论情感分类模型采用*ktrain*库进行文本分类0.分配GPU（CPU版略过）1.加载数据2.打乱数据3.预处理数据并构造一个中文trasnformer模型估计一个较好的学习率训练模型评估模型在新的数据上进行测试找到loss最大的样本在新的数据上进行测试保存模型，以便之后调用结果分析实验总结 迁移中文bert模型（chinese-bert-wwm），完成对20000余条评论数据的情感分类，分为0-很好，1-一般，2-较差。 学习到bert模型的强大之后，不禁感叹，之前比赛用的模型太垃
Bert Model 训练遇到的问题描述
it_lxg123的博客
11-04 1934
1. tokenizer.encode() 方法 与 tokenizer.tokenize() 之间的区别： (1) tokenizer.encode()返回其在字典中的id (2) tokenizer.tokenize() 返回 token def bert_(): model_name = 'bert-base-chinese' MODEL_PATH = 'F:/models/bert-base-chinese/' # a.通过词典导入分词器 tokenizer.
BERT中文任务实战(文本分类、预测下一句)踩坑记录
whuty1304的博客
04-22 2万+
文章目录一、概述二、Bert简介2.1 简要说明2.2 fine-tune原理三、在项目数据集上fine-tune教程3.1整体流程3.2 自定义DataProcessor3.3 参数设置3.4 预测函数四、踩坑记录五、参考文献 一、概述 最近参与了两个项目开发，主要内容是基于NLP和深度学习的文本处理任务。其中有两个子模块用到文本分类和预测下一句模型，刚好前段时间自己折腾学习了一点BERT，就打...
Bert分类模型训练报错：RuntimeError: CUDA error: device-side assert triggered
凝眸伏笔的博客
04-25 1721
问题： 训练bert分类模型时候，报错如下： <torch.utils.data.dataloader.DataLoader object at 0x7f63fe59a588> Epoch [1/50] /pytorch/aten/src/THCUNN/ClassNLLCriterion.cu:108: cunn_ClassNLLCriterion_updateOutput_kernel: block: [0,0,0], thread: [0,0,0] Assertion `t >=
RuntimeError: Error(s) in loading state_dict for BertModel: size mismatch for bert.embeddings.word_e
weixin_49119476的博客
10-14 516
函数中，发现如下信息，貌似transformer在当前版本（4.45.0）只会搜索config.json，已经不再会匹配到bert_config.json文件了。后来将legal bert配置中的bert_config.json改为config.json后，模型成功运行。
【已解决】代码报错RuntimeError: Error(s) in loading state_dict for BertModel: Missing key(s) in state_dict:
一个手掰橙的博客
08-25 1856
load_state_dict方法参数的官方说明 strict 参数默认是true，他的含义是 是否严格要求state_dict中的键与该模块的键返回的键匹配。
RuntimeError: Error(s) in loading state_dict for BertClassifier 模型不匹配
fghjbjhgb的博客
08-15 4365
RuntimeError: Error(s) in loading state_dict for BertClassifier: size mismatch for lstm.weight_ih_l0: copying a param with shape torch.Size([400, 768]) from checkpoint, the shape in current model is torch.Size([360, 768]). size mismatch for lstm.weight_h
BERT运行错误汇总
weixin_42263508的博客
04-14 1875
BERT运行错误汇总： 1.默认使用的是第0个GPU，使用时需要重新设置下，以防第0个GPU被人占用，导致无法启动GPU 2.
Python 中的 AttributeError: ‘module‘ object has no attribute 问题
D0126_的博客
03-21 3万+
在 Python 中，当尝试访问不存在的模块属性时，可能会遇到错误。
OSError: Unable to load weights from pytorch checkpoint file for ‘./data/bert-base-chinese‘ at ‘.
alston_ethannical的博客
12-14 4182
@ERROR :OSError: Unable to load weights from pytorch checkpoint file for ‘./data/bert-base-chinese’ at './data/bert-base-chinese/pytorch_model.bin’If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True. ![TOC] 问题描述 在跑bert模型的
BERT报错记录
x2__T的博客
06-17 1107
开梯子跑，结果如下：ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。4.【HuggingFace简明教程补充篇,加载本地数据文件,trainer的使用.-哔哩哔哩】 https://b23.tv/02ncp1W。给出原因：加载数据集时下载失败，因为huggingface把自己的数据文件放在了谷歌的云盘上——solve：加载本地的数据集，先下载好谷歌的数据文件，然后保存在本地。（1）这只是一个简单的代理问题。try1：本地不开梯子跑，连接问题；
解析 new(): invalid data type ‘str‘
牛肉胡辣汤
01-17 2453
在常见的编程语言中，通常没有名为 "str" 的内置数据类型。通过检查代码、包含正确的头文件和使用命名空间或修改冲突的自定义数据类型名称，可以解决这个问题。需要注意的是，编程语言中的字符串类型可能具有不同的方法和操作，对于特定的操作和功能，你需要参考相应编程语言的文档或语言规范。在上述示例代码中，我们通过修正语法、包含正确的头文件以及使用命名空间或修改自定义数据类型的名称，在适当的位置解决了。假设我们正在开发一个学生管理系统，需要定义一个学生类（Student）来存储学生的姓名和年龄信息，但在使用。
进入Python交互环境中查看transformers过程
最新发布
03-25
<think>好的，我现在需要在Python交互环境中使用transformers库，但不太清楚具体步骤。首先，我得确认自己是否已经安装了Python和pip。因为transformers库是通过pip安装的，所以如果没有安装pip，可能需要先安装它。 接下来，我需要安装transformers库本身。根据经验，应该可以用pip install transformers命令来安装。不过可能还需要安装PyTorch或者TensorFlow，因为transformers通常依赖这些深度学习框架。但不确定是不是必须的，也许有些功能不需要。需要查阅文档确认。 安装完成后，进入Python交互环境，也就是在终端输入python或者python3，然后导入库。比如from transformers import pipeline。可能常见的用例是使用预训练模型，比如文本分类、问答系统等。比如用pipeline('text-classification')来创建一个分类器，然后输入文本得到结果。 然后，可能需要加载特定的模型和分词器。例如，使用AutoModel和AutoTokenizer来加载。步骤大致是：用AutoTokenizer.from_pretrained('模型名称')加载分词器，处理输入文本，生成输入张量，再通过模型得到输出，最后解析输出结果。 不过，具体步骤可能更详细。比如，处理文本时需要调用tokenizer的__call__方法或者encode方法，添加padding、truncation等参数。模型的输出可能是一个包含logits或其他结构的对象，需要进一步用softmax函数处理得到概率分布。 另外，可能需要注意模型的版本和对应的框架（PyTorch或TensorFlow），在加载模型时可能需要指定from_tf参数。或者，在保存和加载模型时需要注意文件路径是否正确。 在交互式环境中，可能需要逐行执行这些步骤，测试每一步是否成功。例如，先导入库，再加载分词器，处理样本文本，然后加载模型，进行推理。如果遇到错误，比如缺少依赖库，需要根据提示安装相应的包，比如安装datasets库来处理数据集。 最后，可能需要参考Hugging Face的官方文档或者示例代码，确保使用的方法和参数是正确的。如果有报错信息，可以搜索错误信息或者查看社区的讨论来解决。</think>以下是在Python交互环境中使用`transformers`库的逐步指南： --- ### 1. 安装库 ```python # 安装transformers及其依赖库 !pip install transformers datasets torch ``` 说明：`datasets`用于加载数据集，`torch`是PyTorch深度学习框架[^1]。 --- ### 2. 启动Python交互环境 在终端输入命令： ```bash python # 或 python3 ``` --- ### 3. 使用预训练模型流水线（Pipeline） ```python from transformers import pipeline # 示例1：文本分类 classifier = pipeline("text-classification") result = classifier("I love using Transformers!") print(result) # 输出分类结果，如情感分析 # 示例2：文本生成 generator = pipeline("text-generation", model="gpt2") generated_text = generator("In the future, AI will", max_length=50) print(generated_text[0]['generated_text']) ``` --- ### 4. 手动加载模型与分词器 ```python from transformers import AutoTokenizer, AutoModelForSequenceClassification # 加载模型和分词器 model_name = "bert-base-uncased" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name) # 处理输入文本 text = "Transformers are awesome!" inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True) # 推理 outputs = model(**inputs) logits = outputs.logits print(logits) # 输出原始预测值 ``` --- ### 5. 保存与加载本地模型 ```python # 保存模型和分词器 model.save_pretrained("./my_model") tokenizer.save_pretrained("./my_model") # 从本地加载 model = AutoModelForSequenceClassification.from_pretrained("./my_model") tokenizer = AutoTokenizer.from_pretrained("./my_model") ``` --- ### 6. 处理自定义任务（以问答为例） ```python from transformers import AutoModelForQuestionAnswering model = AutoModelForQuestionAnswering.from_pretrained("bert-large-uncased-whole-word-masking-finetuned-squad") tokenizer = AutoTokenizer.from_pretrained("bert-large-uncased-whole-word-masking-finetuned-squad") context = "Hugging Face is a company based in New York." question = "Where is Hugging Face located?" inputs = tokenizer(question, context, return_tensors="pt") outputs = model(**inputs) answer_start = outputs.start_logits.argmax().item() answer_end = outputs.end_logits.argmax().item() + 1 answer = tokenizer.convert_tokens_to_string(tokenizer.convert_ids_to_tokens(inputs["input_ids"0][0][answer_start:answer_end])) print(answer) # 输出："New York" ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值