BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding环境搭建-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_50563385/article/details/144767816

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding环境搭建

数据集准备

在这里插入图片描述

环境搭建，按照以下执行，否则运行时会报乱七八糟的错误，耽误时间得不偿失。

# 创建一个新的conda环境，命名为tensorflow1.15.5-python3.7，并指定使用Python 3.7版本
conda create -n tensorflow1.15.5-python3.7 python=3.7

# 激活刚刚创建的conda环境，使其成为当前的工作环境
conda activate tensorflow1.15.5-python3.7 

# 在激活的环境中安装TensorFlow 1.15.5的GPU版本
pip install tensorflow-gpu==1.15.5

# 安装protobuf 3.19.0版本，这是TensorFlow用来处理模型文件格式的库
pip install protobuf==3.19.0

在这里插入图片描述

python run_classifier.py \  # 运行名为run_classifier.py的Python脚本
  --task_name=MRPC \  # 指定任务名称为MRPC（Microsoft Research Paraphrase Corpus）
  --use_tpu=False\  # 指定不使用TPU，使用GPU或CPU
  --do_train=true \  # 启动训练过程
  --do_eval=true \  # 启动评估过程
  --data_dir=/home/featurize/work/bert/GLUE/glue_data/MRPC \  # 指定训练和评估数据的目录路径
  --vocab_file=/home/featurize/work/bert/GLUE/BERT-BASE-DIR/uncased_L-12_H-768_A-12/vocab.txt \  # 指定词汇表文件的路径，该文件用于模型的词汇编码
  --bert_config_file=/home/featurize/work/bert/GLUE/BERT-BASE-DIR/uncased_L-12_H-768_A-12/bert_config.json \  # 指定BERT配置文件的路径，包含模型架构的相关设置
  --init_checkpoint=/home/featurize/work/bert/GLUE/BERT-BASE-DIR/uncased_L-12_H-768_A-12/bert_model.ckpt.index \  # 指定模型训练的初始化检查点的路径
  --max_seq_length=128 \  # 设置输入序列的最大长度
  --train_batch_size=64\  # 设置每次训练批次的大小
  --learning_rate=2e-5 \  # 设置学习率
  --num_train_epochs=3.0 \  # 设置训练的总周期数
  --output_dir=mrpc_output  # 指定输出目录，用于保存训练后的模型和结果