OpenIE 5的berkeley language model的生成

起源

想用openie5.0进行开放信息抽取，但是因为其中一个重要的附件languagemodel因为有6.8G，且存储在Google硬盘，下载时经常断开连接（居然不能断点续传，西方神奇）。搜索博客后，发现有人写了一份参考实现。但是我在具体使用时发现，他遗漏了重要细节。下面是我重新写的一个可以完美实现openIE 5的berkeley language model的生成。

过程

1、下载如下两个文件（都来自berkeley的小组官网）：
截止2019年3月21日仍可以有效访问。

http://tomato.banatao.berkeley.edu:8080/google_books_binaries/eng.blm.gz
http://tomato.banatao.berkeley.edu:8080/google_books_dirs/books_google_ngrams_eng/1gms/vocab_cs.gz

2、git 获取berkeley的项目