7、从头开始预训练 RoBERTa 模型

从头开始预训练 RoBERTa 模型

1. 环境准备

在 Colab 中，加载或下载文件后，可在文件管理器窗格中看到相应文件。需注意，重启虚拟机时，Google Colab 会删除文件。首先要安装 Hugging Face 的 transformers 和 tokenizers，且本次不需要 TensorFlow：

#@title Step 2:Installing Hugging Face Transformers
# We won't need TensorFlow here
!pip uninstall -y tensorflow
# Install `transformers` from master
!pip install git+https://github.com/huggingface/transformers
!pip list | grep -E 'transformers|tokenizers'
# transformers version at notebook update --- 2.9.1
# tokenizers version at notebook update --- 0.7.0

注意：没有 kant.txt 文件时，请勿运行后续单元格，训练数据是必要的前提条件。安装完成后，输出会显示安装的版本：

Successfully built transformers
tokenizers               0.7.0          
transformers             2.10