26、文本摘要模型的评估、微调与从零训练

文本摘要模型的评估、微调与从零训练

1. PEGASUS 在 SAMSum 数据集上的评估

1.1 运行摘要管道

首先，我们使用 PEGASUS 运行相同的摘要管道，查看输出结果。可以复用之前用于 CNN/DailyMail 摘要生成的代码：

pipe_out = pipe(dataset_samsum["test"][0]["dialogue"])
print("Summary:")
print(pipe_out[0]["summary_text"].replace(" .<n>", ".\n"))

输出示例：

Summary: 
Amanda: Ask Larry Amanda: He called her last time we were at the 
park together. 
Hannah: I'd rather you texted him. 
Amanda: Just text him .

从输出可以看出，模型主要通过从对话中提取关键句子来进行摘要。这在 CNN/DailyMail 数据集上可能效果不错，但 SAMSum 数据集中的摘要更具抽象性。

1.2 ROUGE 评估

为了进一步确认，我们在测试集上运行完整的 ROUGE 评估：

score = evaluate_summaries_pegasus( 
    dataset_samsum["t