每天八杯水的博客

最近使用自己的数据集对bert-base-uncased进行了二次预训练，只使用了MLM任务，发现在加载训练好的模型进行输出CLS表示用于下游任务时，同一个句子的输出CLS表示都不一样，并且控制台输出以下警告信息。说是没有这些权重。

trainer.save_model() 和 model.save_pretrained()——都可以用来保存模型并且使用方法和代码是一样的。

vocab.txt 是传统分词器（如 BertTokenizer）所必需的文件，加载时会使用该文件。tokenizer.json 是 Fast Tokenizer（如 BertTokenizerFast）的核心文件，包含更多的配置和细节，但不是必需的（只有 Fast Tokenizer 才会使用）。如果你训练的是传统的 BertTokenizer，那么只有 vocab.txt 文件即可，没有 tokenizer.json 文件也没有问题。

【代码】matplotlib：module 'backend_interagg' has no attribute 'FigureCanvas'. Did you mean: 'FigureCanvasAgg。

任务：当我们需要数据预处理时，会把一篇文章比如pdf格式的，以每200 words为单位进行分割为样本数据，每个样本数据都是200个words。缺点：很多样本数据上下文信息不完整。

预训练bert模型时需要加载到pdf文件数据进行预处理，这里使用了pypdf2这个工具包，简单记录一下代码。