19、问答系统与Transformer模型优化全解析

问答系统与Transformer模型优化全解析

1. 问答系统的优化与拓展

1.1 模型微调与评估

在问答系统中，我们可以使用FARMReader加载模型进行微调。例如，使用MiniLM模型：

minilm_ckpt = "microsoft/MiniLM-L12-H384-uncased"
minilm_reader = FARMReader(model_name_or_path=minilm_ckpt, progress_bar=False,
                           max_seq_len=max_seq_length, doc_stride=doc_stride,
                           return_no_answer=True)

接着进行一个epoch的微调：

minilm_reader.train(data_dir=".", use_gpu=True, n_epochs=1, batch_size=16,
             train_filename=train_filename, dev_filename=dev_filename)

并且在测试集上进行评估：

reader_eval["Fine-tune on SubjQA"] = evaluate_reader(minilm_reader)
pl