数据集使用bert模型出现bug修改(自用)

代码小学渣

于 2022-06-29 15:45:34 发布

阅读量524

点赞数

分类专栏：毕设文章标签： bert bug 机器学习

本文链接：https://blog.youkuaiyun.com/yansl072516/article/details/125523293

版权

该博客介绍了如何使用BERT模型进行数据预处理，包括数据集划分、内容打乱、转换为txt格式、处理分隔符，以及使用BertTokenizer进行tokenization和padding。此外，还提到了两个预训练模型distilbert-base-uncased和distilbert-base-multilingual-cased的基本信息，强调在实际应用中应尝试不同模型以找到最佳效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据集使用bert模型

1.文件处理流程

把数据集按比例划分train，test和dev
在excel里把train，test和dev使用=RAND(),打乱排序。
分类从0开始，不允许有负值。
转换成txt格式，编码要为“utf-8”
内容和格式的分隔符要记得查看在在内容里是是否存在相同的分割符，如果存在相同的分隔符，需要处理掉（目的是防止程序识别错误，分割错误）
导入自己语料时，经常出现的错误。“超过所需要的值”，提示：去检查自己的内容和标签分割问题，检查语料。

在这里插入图片描述

                if len(lin.split('\t')) == 2:
                    content, label = lin.split('\t')#数据集中两个内容中间以\t分割，于是通过split方法拆分出content和label

                    token = config.tokenizer