写这篇博客的目的是为了记录自己使用pyrouge踩的坑,以及方便日后快速寻找对应的解决方案,不用再在网上找来找去的。
ps. pyrouge好像不支持中文的摘要评分,有可能是还需要对中文数据做其他处理才能使用,本文针对的是pyrouge在对英文数据的rouge进行评分的安装以及配置的过程。
pyrouge的安装以及配置
pyrouge的安装这里引用了一位知友的配置方案,这里直接附上作者写的解决方案:https://zhuanlan.zhihu.com/p/45548244
感觉这位知友给的方案,简单有效解决了安装的问题,请务必完成里面的每个配置啊,别嫌麻烦。
pyrouge的使用以及自己遇到的问题
使用
from pprint import pprint
from pyrouge import Rouge155
r = Rouge155()
r.system_dir = '参考摘要的路径'# 'path/to/system_summaries'
r.model_dir = '生成摘要的路径' #'path/to/model_summaries'
r.system_filename_pattern = '(\d+)_decoded.txt' # 这个名字根据自己摘要命令,一般是多个
r.model_filename_pattern = '#ID#_reference.txt' # 所以用正则表达式来匹配了数字0001.txt这种
score = r.convert_and_evaluate()
# pprint(score)
output_dict = r.output_to_dict(score)
结果展示
下面是terminal输出的内容,使用成功了(✌✌✌)
---------------------------------------------
1 ROUGE-1