# !pip install datasets transformers
在机器问答任务上微调transformer模型
在这个notebook中,我们将学习到如何微调🤗 Transformers的transformer模型来解决机器问答任务。本文主要解决的是抽取式问答任务:给定一个问题和一段文本,从这段文本中找出能回答该问题的文本片段(span)。通过使用Trainer
API和dataset包,我们将轻松加载数据集,然后微调transformers。下图给出了一个简单的例子
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RO7Xz5PI-1687941285189)(images/question_answering.png)]
Note: 注意:本文的问答任务是从文本中抽取答案,并不是直接生成答案!
本notebook设计的例子可以用来解决任何和SQUAD 1和SQUAD 2类似的抽取式问答任务,并且可以使用模型库Model Hub的任何模型checkpoint,只要这些模型包含了一个token classification head 和 一个fast