[算法前沿]--031-Transformers的抽取式问答

# !pip install datasets transformers

在机器问答任务上微调transformer模型

在这个notebook中，我们将学习到如何微调🤗 Transformers的transformer模型来解决机器问答任务。本文主要解决的是抽取式问答任务：给定一个问题和一段文本，从这段文本中找出能回答该问题的文本片段（span）。通过使用Trainer API和dataset包，我们将轻松加载数据集，然后微调transformers。下图给出了一个简单的例子
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RO7Xz5PI-1687941285189)(images/question_answering.png)]

Note: 注意：本文的问答任务是从文本中抽取答案，并不是直接生成答案！

本notebook设计的例子可以用来解决任何和SQUAD 1和SQUAD 2类似的抽取式问答任务，并且可以使用模型库Model Hub的任何模型checkpoint，只要这些模型包含了一个token classification head 和 一个fast