11、问答系统评估与Transformer模型优化

问答系统评估与Transformer模型优化

1. 评估整个问答管道

在分别评估了问答系统中的读取器（Reader）和检索器（Retriever）组件后，接下来需要将它们结合起来，以衡量整个问答管道的性能。

1.1 初始化检索器管道

pipe = EvalRetrieverPipeline(es_retriever)

1.2 添加读取器节点

eval_reader = EvalReader()
pipe.pipeline.add_node(component=reader, name="QAReader", 
              inputs=["EvalRetriever"])
pipe.pipeline.add_node(component=eval_reader, name="EvalReader", 
              inputs=["QAReader"])

1.3 进行评估

run_pipeline(pipe)

1.4 提取读取器的指标

reader_eval["QA Pipeline (top-1)"] = { 
    k:v for k,v in eval_reader.__dict__.items()