文本摘要与短期负荷预测:技术探索与应用
文本摘要技术
在文本处理领域,对给定文本进行摘要提取是一项重要的任务。为了实现更准确的摘要生成,采用了针对角色和事件的命名实体识别(NER)重新设计方法。
实验与结果
对60个故事(如STY1 - STY60)进行了实验。实验中,仅将包含最多提取特征(如角色、事件、位置和关系)的短语纳入摘要。具体来说,选择能反映摘要所需关键句子的语句,且只考虑排名最高的句子。以下是部分故事的摘要句子及压缩比例:
| 序号 | 故事标题 | 故事实际长度 | 摘要句子数量 | 百分比比例(%) |
| ---- | ---- | ---- | ---- | ---- |
| 1 | STY1 | 10 | 5 | 50 |
| 2 | STY2 | 23 | 12 | 52 |
| 3 | STY3 | 6 | 3 | 50 |
|… |… |… |… |… |
整体压缩比例为51.58%。采用基于规则的方法来提高输出的准确性,只有得分最高的句子才会被包含在摘要中,这些高分句子是根据具有最多特征且按故事升序排列的句子确定的。
问答测试
为确保摘要信息的准确性,采用了平均意见得分(MOS)测试,以问答形式进行。基于10个原始故事创建了包含53个问题的问卷,从60个故事中随机选择10个故事,让5个人回答摘要相关问题。根据用户回答问题的情况来评估摘要的有效性:
- 若用户回答了最佳问题集,则摘要效果极佳;
- 若回答了平均数量的问题,则摘要效果良好;
- 若回答的问题数量最少,则摘要效果较差。
超级会员免费看
订阅专栏 解锁全文

被折叠的 条评论
为什么被折叠?



