kaimMarch的博客

wikidumpswikipedia-parallel-titles使用wikiextractor提取wikidumps语料基于维基百科语料生成平行句对基于维基百科构建平行语料库wikidumps语料下载wikidumps网址为en-wikidumpswikidumps语料的处理处理wikidumps语料可以用wikiextractor工具来提取。实现需要安装pip install wikiextractor然后可以有两种方法使用，一种是将库中的python模块用作脚本去运行pyth

Wikipedia APIhttps://pypi.org/project/Wikipedia-API/https://github.com/martin-majlis/Wikipedia-API/安装pip install Wikipedia-APIWikipedia-API是基本使用import wikipediaapititle = "china"wiki = wikipediaapi.Wikipedia( language='en', extract_forma

https://www.codenong.com/s-getting-started-with-pythons-wikipedia-api/安装pip install wikipedia 根据title搜索维基百科文章search()方法在Wikipedia中搜索作为其参数提供的查询，返回包含该查询的所有文章标题的列表。import wikipedia print(wikipedia.search("Bill"))# ['Bill', 'The Bill', 'Bill Nye', 'Bil

定义BERThttps://github.com/xu-song/bert-as-language-modelhttps://stackoverflow.com/questions/63030692/how-do-i-use-bertformaskedlm-or-bertmodel-to-calculate-perplexity-of-a-sentencehttps://github.com/ymcui/Chinese-BERT-wwm对于给定的sentence，按顺序依次mask掉一个token

当使用Wikipedia Extractor(GitHub - attardi/wikiextractor: A tool for extracting plain text from Wikipedia dumps)工具处理所下载的wiki dump文件(​​​​​​​https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2)时，当我执行python命令：python Wikiextractor.py

jieba是python的一个中文分词库，下面介绍它的使用方法。安装方式1：pip install jieba方式2：先下载 http://pypi.python.org/pypi/jieba/然后解压，运行 python setup.py install功能下面介绍下jieba的主要功能，具体信息可参考github文档：https://github.com/fxsjy/jieba分词jieba常用的三种模式：精确模式，试图将句子最精确地切开，适合文本分析； 全模式

1 安装前言Stanford CoreNLP的源代码是使用Java写的，提供了Server方式进行交互。stanfordcorenlp是一个对Stanford CoreNLP进行了封装的Python工具包，GitHub地址，使用非常方便。安装依赖1：下载安装JDK 1.8及以上版本。2：下载Stanford CoreNLP文件，解压。3：处理中文还需要下载中文的模型jar文件，然后放到stanford-corenlp-full-2018-02-27根目录下即可（注意一定要下载这个文件，否

构建索引 1.创建Directory对象，指定索引库存放位置 2.创建Analyzer对象，指定分析器类型 3.基于1和2创建IndexWriter对象 4.创建Document对象 5.创建Field对象，并将Field对象添加到Document对象中 6.使用IndexWriter对象将Document对象写入到索引库 7.关闭IndexWriter对象Directory对象Lucene中，Directory抽象类有两个子类，分别是RAMDirectory和FSDire