16、文本摘要与问答系统技术解析

文本摘要与问答系统技术解析

1. 文本摘要模型评估与生成

在文本摘要任务中，模型的评估是至关重要的。通过计算 ROUGE 分数，可以直观地了解模型的性能。以下是计算 ROUGE 分数并展示结果的代码：

rouge_dict = dict((rn, score[rn].mid.fmeasure) for rn in rouge_names)
pd.DataFrame(rouge_dict, index=[f"pegasus"])

得到的结果如下表所示：
| | rouge1 | rouge2 | rougeL | rougeLsum |
| — | — | — | — | — |
| pegasus | 0.427614 | 0.200571 | 0.340648 | 0.340738 |

从这些 ROUGE 分数可以看出，经过微调的模型相比未微调的模型有了显著的提升，这表明之前的模型可能不太适用于新的领域。完成模型训练后，可以将其推送到 Hugging Face Hub：

trainer.push_to_hub("Training complete!")

在训练过程中，也可以对生成的摘要进行评估。具体操作步骤如下：
1. 使用 Seq2SeqTrainingArguments 扩展 TrainingArguments ，并指定 predict_with