问答模型(五)——模型构建

最新推荐文章于 2025-11-27 01:52:38 发布

原创

最新推荐文章于 2025-11-27 01:52:38 发布 · 2.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #自然语言处理 #python

该博客介绍了如何利用PaddleNLP库中的BERT模型进行答案抽取任务的Fine-tune。通过设置预训练模型、优化策略、学习率调度和损失函数，详细阐述了训练过程，包括定义CrossEntropyLossForSQuAD损失函数来计算start_loss和end_loss的平均值作为总损失。

阅读理解本质是一个答案抽取任务，PaddleNLP对于各种预训练模型已经内置了对于下游任务-答案抽取的Fine-tune网络。

以下项目以BERT为例，介绍如何将预训练模型Fine-tune完成答案抽取任务。

答案抽取任务的本质就是根据输入的问题和文章，预测答案在文章中的起始位置和结束位置。基于BERT的答案抽取原理如下图所示：
在这里插入图片描述

# 设置想要使用模型的名称
model = ppnlp.transformers.BertForQuestionAnswering.from_pretrained(MODEL_NAME)

模型配置

设置Fine-Tune优化策略

适用于ERNIE/BERT这类Transformer模型的学习率为warmup的动态学习率。
在这里插入图片描述

# 训练过程中的最大学习率
learning_rate = 3e-5 
# 训练轮次
epochs = 1
# 学习率预热比例
warmup_proportion = 0.1
# 权重衰减系数，类似模型正则项策略，避免模型过拟合
weight_decay = 0.01


num_training_steps = len