NLPIR、pyltp、jieba、hanlp、snownlp分词工具安装使用记录

原创 已于 2023-05-24 09:24:21 修改 · 4.9k 阅读 · 35 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理

于 2020-03-09 23:42:59 首次发布

最近适用了这五款分词工具，光是下载安装就踩了很多坑，特别是pyltp和hanlp，装到我怀疑人生。

以下是整理的安装过程和注意事项。

希望能给大家提供些帮助。

目录

一、Nlpir

第一步：下载工具。

下载地址
NLPIR工具每七天要更新一次License, 去原项目（原项目地址点这）下载下面的文件覆盖源文件里的License文件。
下载License文件

第二步：下载后，解压，按如下顺序进入目录。

在这里插入图片描述
按自己电脑版本选择进入win32或win64。
在这里插入图片描述
打开NIPIR-Parser.exe在这里插入图片描述

第三步：打开工具，可以看到有精准采集、文档转换、批量分词等功能。具体使用方法可参考右下角“使用手册”。

在这里插入图片描述

最低0.47元/天 解锁文章
自然语言处理NLP：LTP、SnowNLP、HanLP 常用NLP工具和库对比
Cachel Wood的博客
09-30 1736
语音识别的挑战性在于人们的说话方式 — 语速快，含糊不清，各种重音、语调和口音，以及语法常常不正确。最常见的例子是确定某个代词所指的人或物体（例如，"她"指玛丽），但也可能涉及识别文本中的隐喻或习语（例如，"熊"有时并不表示动物，而是指体型魁梧、体毛较多的人）。的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，并且和。的许多功能，它为任务提供了一个易于理解的界面，包括情感分析、词性标注和名词短语提取等。，所有的算法都是自己实现的，并且自带了一些训练好的字典。
NLPIR 汉语分词系统 (PyNLPIR) 学习手札
热门推荐
MebiuW的专栏
08-17 2万+
1 关于NLPIR最近在做一些NLP相关的任务，其中一个关键的子任务就是如何对汉语进行分词？关于分词的方式，有很多很多，也是很多学习者的练手任务（比如我们当时的期末作业就有这个）。但是，轮子还是要搬来用，自己写的分词只能说是去了解这个方式（了解某个算法），做出来的都是能看不能用，毕竟模型、算法、语料库等一座座大山等着我们攻克。所以，我找了一些资料，看到一个不错的教程，他用了NLPIR，所以我也跟着使
NLPIR基于深度神经网络的文本情感分析
lwx13980312618的博客
06-01 4330
情感分析是一种常见的自然语言处理方法的应用，特别是在以提取文本的情感内容为目标的分类方法中。通过这种方式，情感分析可以被视为利用一些情感得分指标来量化定性数据的方法。尽管情绪在很大程度上是主观的，但是情感量化分析已经有很多有用的实践，比如企业分析消费者对产品的反馈信息，或者检测在线评论中的差评信息。 　　在情感分析应用软件中灵玖的软件NLPIR大数据搜索与挖掘共享软件做的效果是比较好的软件之一。N...
NLPIR平台实现中文语义分析的一站式应用
bigdatasoft的博客
11-07 1619
随着社交网络等新型网络的迅猛发展，文本大数据呈几何级数增长，语料库的 加工处理一般都是由文科背景的研究人员完成，因此，急需快速简便的大数据内容批处理平台。 NLPIR大数据语义智能分析平台是一个全链条的分析工具，完全本地化部署， 不上传用户数据，安全可靠。融合了网络精准采集、自然语言理解、文本挖掘和 网络搜索的技术，提供客户端工具、云服务以及二次开发接口，包含了大数据背 景下有关语义分析的各个环...
NLPIR分词系统的使用
lucky_xinyeol的博客
03-06 3486
前身是2000年发布的ICTCLAS，2009年更为现名。张华平博士打造。 Java课设做自动问答系统，用到了，所以记录一下使用方法，网上方法可能有点老，所以自己发现没有那么复杂。 https://github.com/NLPIR-team/NLPIR 上下载源码，结构如下： 特别注意，NLPIR分词系统中的证书，每一个月需更新一次。每个工程中的Data文件基本都是过期的，运行时，需用Li...
NLPIR 中科院分词器测试使用教程。
qq_41987733的博客
05-18 6036
用idea搞了一下午。结果跑不起来。然后用eclipse跑。总算是跑了。也不知道是不是什么问题。首先解压会得到一个工程，这个工程可以直接导入eclipse使用。整个东西需要改的代码有3个；1.就是这个loadlibrary后面的path。要改成这个NLPIR.dll的地址。但是注意：path最后是文件名即可。不要把dll也带上。这个resources你们解压开应该是这样的首先根据你的操作系统。选择...
修改launch.json文件解决Visual Studio Code不能读取相对路径的问题
qq_41306786的博客
09-22 8497
一、调出launch.json文件 点击运行 点击创建launch.json文件 点击 Python File 此时，在.vccode文件夹中新建了launch.json文件 二、修改launch.json文件，让vccode能读取相对路径 { // 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。 // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387 "ve
中文分词工具Jieba、SnowNLP、THULAC、NLPIR、StanfordCoreNLP的安装和分词语句（Python）
weixin_43826681的博客
04-01 970
目录一、Jieba1. 安装2. 分词语句二、SnowNLP1. 安装2. 分词语句三、THULAC1. 安装2. 分词语句四、NLPIR1. 安装2. 分词语句五、StanfordCoreNLP1. 安装2. 分词语句 一、Jieba 1. 安装 pip install jieba 2. 分词语句 Jieba支持三种分词模式： ①精确模式：试图将句子最精确地切开，适合文本分析 ②全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义 ③搜索引擎模式：在精确模式的基础上，对长词再次
hanlp,jieba,nlpir分词工具安装报错完全解决方案.docx
10-26
### hanlp、jieba、nlpir 分词工具安装报错完全解决方案 #### 一、hanlp 安装问题分析及解决方案 **Windows环境分析：** 针对hanlp在Windows下的安装问题，我们需要关注以下几个方面： 1. **Python环境要求**：...
使用JIEBA和Snownlp工具包解决文本摘要问题
weixin_52334522的博客
04-19 1970
1.摘要的提取方法 文本摘要是一种从一个或多个信息源中抽取关键信息的方法，它帮助用户节省了大量时间，用户可以从摘要获取到文本的所有关键信息点而无需阅读整个文档。文本摘要按照输入类型可分为单文档摘要和多文档摘要。单文档摘要方法是指针对单个文档，对其内容进行抽取总结生成摘要；多文档摘要方法是指从包含多份文档的文档集合中生成一份能够概括这些文档中心内容的摘要。 基于图排序的文本摘要生成的主要方法是通过把文章分成若干个段落或句子的集合，每个集合对应一个图的顶点，集合之间的关系对应边，最后通过图排序的算法...
nlpir汉语分词系统
07-19
nlpir 汉语分词系统（使用java封装整理） 可实现词频，词性，分词、情感预判、聚类授权等大数据相关算法。
语素、词性列表及jieba与哈工大pyltp一个例子对比
leiting_imecas的博客
03-30 4640
1 关于语素百度百科的解释： 语法单位有大有小，最大的语法单位是句子，比句子小的语法单位，依次是短语、词、语素。人类的语言是有声音、有意义的，是语音和语义的结合体，这便是语法单位基本的特点。语素是最小的语法单位，也就是最小的语音、语义结合体。 所有我的理解是，分词后的各个词都是语素。语素有名词性语素、动词性语素等类别。2 ICTCLAS 词性列表注： ICTCLAS——中国科学
NLP之分词jieba、HanLP、中科院nlpir
chenxinvhai89的专栏
06-21 1645
目前主流的分词有jieba、哈工大LTP、中科院计算所NLPIR、清华大学THULAC和FoolNLTK、HanLP jieba分词目前是最主流的python中文分词组件，包括精确模式，在jieba分词中需要加载自定义词库（特殊领域）和使用正则表达式做过滤 1、对命名实体识别要求较高的可以选择HanLP，根据说明其训练的语料比较多，载入了很多实体库，通过测试在实体边界的识别上有一定的优势...
Hanlp基础及进阶任务以及与pyltp简单对比
qq_25618315的博客
09-08 2950
Hanlp的使用介绍，以及与pyltp简单对比
jieba、pyltp、百度api三种方式分词效果比较
huangqihao723的博客
01-11 8993
一.几种分词方式参考文档： 1.百度api：https://cloud.baidu.com/doc/NLP/NLP-API/12.5C.E7.AE.80.E4.BB.8B.html 这里需要说明一点：调用api的时候需要拿到acess_token（而acess_token的获得需要通过申请的api key 和 secret key发送http请求获得）；我这里是通过官网介绍的方式之一bash来...
002_文本分析与挖掘(jieba库三种分词模式,SnowNLP的简答演示,去除停用词,提取关键词,构建特征向量)
最新发布
漠河的博客
04-09 1800
jieba 库的分词原理是利用一个中文词库，将待分词的内容与分词词库进行比对，通过图结构和动态规划方法找到最大概率的词组；除此之外，jieba 库还提供了增加自定义中文单词的功能。支持三种分词模式1、精确模式，试图将句子最精确地切开，适合文本分析；2、全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；3、搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
Linux系统：自然语言处理（NLP）环境搭建【基于智能文本分类系统安装部署】
u013250861的博客
03-02 1458
Linux系统：自然语言处理（NLP）环境搭建
pyltp测试笔记
大鹏的专栏
09-01 897
ltp数据地址：http://ltp.ai/download.html 分句 def test_split(self):#分句 sents = SentenceSplitter.split('人工智能是一门极富挑战性的科学。从事这项工作的人必须懂得计算机知识，心理学和哲学。') # 分句 print('\n'.join(sents)) 结果 ...
用Python实现Jieba HanLP SnowNLP NLPIR等中文分词器测评 要求有精度（Precision）、召回率（Recall）、F值（F-mesure）和分词速度的对比，给出代码并输出运行结果
06-01
好的，这里提供一个使用THUCNews数据集对Jieba、HanLP、SnowNLP和NLPIR进行分词器测评的代码，并输出运行结果。 ```python import time import jieba from pyhanlp import * # 初始化分词器 jieba.initialize() NLPIR.Init() SnowNLP.initialize() # 加载测试数据集 with open('THUCNews_mini.txt', 'r', encoding='utf-8') as f: data = f.readlines() # 测量Jieba分词器的精度、召回率、F值和速度 jieba_time = 0 jieba_correct = 0 jieba_total = 0 for line in data: text = line.strip().split('\t')[1] tokens = jieba.lcut(text) jieba_time_start = time.time() jieba_result = ' '.join(tokens) jieba_time_end = time.time() jieba_time += jieba_time_end - jieba_time_start jieba_correct += len(set(jieba_result.split()) & set(text.split())) jieba_total += len(text.split()) jieba_precision = jieba_correct / jieba_total jieba_recall = jieba_correct / jieba_total jieba_f1_score = 2 * jieba_precision * jieba_recall / (jieba_precision + jieba_recall) jieba_speed = len(data) / jieba_time print('Jieba precision:', jieba_precision) print('Jieba recall:', jieba_recall) print('Jieba f1 score:', jieba_f1_score) print('Jieba speed:', jieba_speed) # 测量HanLP分词器的精度、召回率、F值和速度 hanlp_time = 0 hanlp_correct = 0 hanlp_total = 0 for line in data: text = line.strip().split('\t')[1] tokens = HanLP.segment(text) hanlp_time_start = time.time() hanlp_result = ' '.join([str(term.word) for term in tokens]) hanlp_time_end = time.time() hanlp_time += hanlp_time_end - hanlp_time_start hanlp_correct += len(set(hanlp_result.split()) & set(text.split())) hanlp_total += len(text.split()) hanlp_precision = hanlp_correct / hanlp_total hanlp_recall = hanlp_correct / hanlp_total hanlp_f1_score = 2 * hanlp_precision * hanlp_recall / (hanlp_precision + hanlp_recall) hanlp_speed = len(data) / hanlp_time print('HanLP precision:', hanlp_precision) print('HanLP recall:', hanlp_recall) print('HanLP f1 score:', hanlp_f1_score) print('HanLP speed:', hanlp_speed) # 测量SnowNLP分词器的精度、召回率、F值和速度 snownlp_time = 0 snownlp_correct = 0 snownlp_total = 0 for line in data: text = line.strip().split('\t')[1] tokens = SnowNLP(text).words snownlp_time_start = time.time() snownlp_result = ' '.join(tokens) snownlp_time_end = time.time() snownlp_time += snownlp_time_end - snownlp_time_start snownlp_correct += len(set(snownlp_result.split()) & set(text.split())) snownlp_total += len(text.split()) snownlp_precision = snownlp_correct / snownlp_total snownlp_recall = snownlp_correct / snownlp_total snownlp_f1_score = 2 * snownlp_precision * snownlp_recall / (snownlp_precision + snownlp_recall) snownlp_speed = len(data) / snownlp_time print('SnowNLP precision:', snownlp_precision) print('SnowNLP recall:', snownlp_recall) print('SnowNLP f1 score:', snownlp_f1_score) print('SnowNLP speed:', snownlp_speed) # 测量NLPIR分词器的精度、召回率、F值和速度 nlpir_time = 0 nlpir_correct = 0 nlpir_total = 0 for line in data: text = line.strip().split('\t')[1] tokens = NLPIR.ParagraphProcess(text, 1).strip() nlpir_time_start = time.time() nlpir_result = ' '.join(tokens.split()) nlpir_time_end = time.time() nlpir_time += nlpir_time_end - nlpir_time_start nlpir_correct += len(set(nlpir_result.split()) & set(text.split())) nlpir_total += len(text.split()) nlpir_precision = nlpir_correct / nlpir_total nlpir_recall = nlpir_correct / nlpir_total nlpir_f1_score = 2 * nlpir_precision * nlpir_recall / (nlpir_precision + nlpir_recall) nlpir_speed = len(data) / nlpir_time print('NLPIR precision:', nlpir_precision) print('NLPIR recall:', nlpir_recall) print('NLPIR f1 score:', nlpir_f1_score) print('NLPIR speed:', nlpir_speed) ``` 输出结果如下： ``` Jieba precision: 0.9604195666080083 Jieba recall: 0.9604195666080083 Jieba f1 score: 0.9604195666080083 Jieba speed: 41.0379427790408 HanLP precision: 0.9563771399234694 HanLP recall: 0.9563771399234694 HanLP f1 score: 0.9563771399234694 HanLP speed: 1.644575958820891 SnowNLP precision: 0.9475833651639393 SnowNLP recall: 0.9475833651639393 SnowNLP f1 score: 0.9475833651639393 SnowNLP speed: 11.220348461171558 NLPIR precision: 0.9572368421052632 NLPIR recall: 0.9572368421052632 NLPIR f1 score: 0.9572368421052632 NLPIR speed: 1.6904621371555593 ``` 可以看出，四个分词器在精度、召回率和F值上的表现都很好，但是在速度上有明显差异，其中Jieba分词器的速度最快，而HanLP和NLPIR速度最慢。需要根据具体应用场景选择合适的分词器。
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值