26、文本摘要与区块链电子投票技术解析

文本摘要与区块链电子投票技术解析

文本摘要技术研究

在大数据分析领域，文本摘要技术是一项重要的研究内容，它能够帮助人们快速获取文本的核心信息。这里主要探讨了使用GPT - 2和BERT模型进行文本摘要的相关内容。

实验数据与设置

• 数据集 ：采用了Kaggle提供的非匿名BCC数据集，该数据集用于将新闻条目浓缩为两到三句话。数据集中包含数千个文本文件，平均长度为15行，并且有预先确定的摘要，此摘要用于评估GPT - 2和BERT两个模型的精度。
• 模型训练 ：

from summarizer import Summarizer, TransformerSummarizer 
# 安装hugging face的transformers后，导入摘要器和transformer摘要器模块
GPT2_model = TransformerSummarizer(transformer_type="GPT2",transformer_model_key="gpt2-medium") 
# 输入参数以训练GPT - 2模型
bert_model = Summarizer() 
# 训练BERT模型

评估指标

ROUGE（Recall - Oriented Understudy of Gisting Evaluation）是用于评估自动生成文本的一组标准，常用于评估文本摘要算法的有效性。不过，它在抽象和提取算法上的表现类似，且更注