nlpir的使用

NLPIR 汉语分词系统 (PyNLPIR) 学习手札 1 关于NLPIR最近在做一些NLP相关的任务,其中一个关键的子任务就是如何对汉语进行分词?关于分词的方式,有很多很多,也是很多学习者的练手任务(比如我们当时的期末作业就有这个)。但是,轮子还是要搬来用,自己写的分词只能说是去了解这个方式(了解某个算法),做出来的都是能看不能用,毕竟模型、算法、语料库等一座座大山等着我们攻克。所以,我找了一些资料,看到一个不错的教程,他用了NLPIR,所以我也跟着使 阅读详情

NLPIR的下载地址:

http://ictclas.nlpir.org/downloads

GitHub的地址:

https://github.com/NLPIR-team/NLPIR

 

两个版本有一些不同,本文将分别讲解如何利用Eclipse建立工程。

一、NLPIR官方版本

下载后文件夹中bin目录,如下图所示,其中NLPIR_WinDemo.exe是一个NLPIR的演示程序,可以尝试运行,了解NLPIR的功能。

  中科院NLPIR中文分词java版

工程源码在sample目录下,包含C、C++、Hadoop、JAVA、Python等语言示例。

用Eclipse新建一个工程导入JAVA工程目录JnaTest_NLPIR,

(1)Eclipse -> File->import

  中科院NLPIR中文分词java版

(2)选择JnaTest_NLPIR所在的路径,点击Finish

  中科院NLPIR中文分词java版

(3)查看Eclipse工程

  中科院NLPIR中文分词java版

(4)NlpirTest.java文件中包含main函数,下面的语句初始化NLPIR需要的库文件

  中科院NLPIR中文分词java版

CLibrery类是包含在NlpirTest.java文件中,

CLibrary Instance = (CLibrary) Native.loadLibrary("H:\\workspace\\ictclas\\1\\ICTCLAS2015\\lib\\win64\\NLPIR", CLibrary.class);

函数loadLibrary需要传递库文件位置,源码提供了多种语言类库,我们的工程需要加载win64类库,该文件夹内容如下,

 中科院NLPIR中文分词java版

(5)加载分词数据Data文件夹路径

String argu = "H:\\workspace\\ictclas\\1\\ICTCLAS2015";
String system_charset = "UTF-8"; int charset_type = 1;  int init_flag = CLibrary.Instance.NLPIR_Init(argu, charset_type, "0");

H:\\workspace\\ictclas\\1\\ICTCLAS2015是Data文件夹的父文件夹。

这步骤完成后,你就可以调试代码了。有关API可以阅读手册。

二、github上下载的代码

目录中包含了NLPIR SDK目录,每一个目录是NLPIR提供的一个组件。NLPIR-ICTCLAS目录包含NLPIR组件的代码。

在Eclipse中导入ICTCLAS_java工程,工程目录如下图

  中科院NLPIR中文分词java版

工程中没有填写main函数,可以在NlpirTest.java文件中,加入main函数

public class NlpirTest { public static void main(String[] args) throws Exception{
NlpirTest t = new NlpirTest();
      t.testParticiple();
} public void testParticiple() throws IOException {
.....

    }
.......
}


 和官方网站不同,加载库文件可以自动判断系统类型,在工程当前目录下查找库文件。“工程当前目录”的win32、win64、linux32、linux64都是包含库文件的文件夹。

同时会自动加载“工程当前目录“下Data问佳佳为分词数据目录。这些目录设置好,就可以进行调试工作了。

三、在github中"查找关键字"的组件Key_Extract

工程目录如下,

  中科院NLPIR中文分词java版

project中提供java版本的示例代码,利用Eclipse导入工程

  中科院NLPIR中文分词java版

同样在KeyExtractor.java文件中添加main函数。KeyExtract_GetKeyWords的第一个参数是需要提取关键字的文本,第二参数是关键字的个数。

 public static void main(String[] args) {
String keyWordsStr = CLibraryKeyExtractor.instance.KeyExtract_GetKeyWords(args[0], 10, true);
System.out.println(keyWordsStr);
CLibraryKeyExtractor.instance.KeyExtract_Exit();
}

在工程的当前文件夹下,有一个Data目录,是分词和提取关键词需要用到的分词数据。需要将需要的license考入到这个文件夹。你可以不用区分用到哪一个user文件,建议把全部文件都考到当前工程目录Data文件夹中。

 中科院NLPIR中文分词java版  

这些设置完成,在Eclipse中传入参数,菜单项run-->run configure。

 中科院NLPIR中文分词java版  

四、导出jar

Eclipse工程目录上,右键选择Export

  中科院NLPIR中文分词java版

选择runnablejar,生成jar文件

 中科院NLPIR中文分词java版  

之后就可以利用cmd执行,传递参数,效果如下

  中科院NLPIR中文分词java版

来自:http://www.cnblogs.com/jbexploit/p/4572791.html

NLPIR、pyltp、jieba、hanlp、snownlp分词工具安装使用记录 一、Nlpir 第一步:下载工具。 下载地址 NLPIR工具每七天要更新一次License, 去官网下载下面的文件覆盖源文件里的License文件。 第二步:下载后,解压,按如下顺序进入目录。 按自己电脑版本选择进入win32或win64。 打开NIPIR-Parser.exe 第三步:打开工具,可以看到有精准采集、文档转换、批量分词等功能。具体使用方法可参考右下角“使用手册”。 二、 P... 阅读详情

相关推荐

安利:pynlpir, nlpir 的python端接口, 通过python 使用nlpir / ictclas 2015

最近准备一些文本处理的东西, 发现还有很多朋友纠结于nlpir (ictclas 2015) python 接口, 想起13年的时候通过python调用nlpir确实有些蛋疼, 虽然网上教程很多,但几乎没几个系统使用的, GITHUB上, 国际友人@tsroten 提供了nlpir 的python接口包, pynlpir 安装使用也非常简单 如果有pip 的话,直接 pip

再见。 7235

中科院NLPIR中文分词java版

摘要:为解决中文搜索的问题,最开始使用PHP版开源的SCWS,但是处理人名和地名时,会出现截断人名地名出现错误。开始使用NLPIR分词,在分词准确性上效果要比SCWS好。本文介绍如何在windows系统下编译JAVA,生成可以执行的jar文件。 NLPIR的下载地址: http://ictclas.nlpir.org/downloads GitHub的地址: https://git...

weixin_30646315的博客 381

NLPIR+Hadoop

在Linux上实现hadoop+NLPIR对大量文本数据进行分词和标注

monkey131499的博客 1380

【亲测免费】 探索NLPIR:自然语言处理利器,赋能文本智能分析

探索NLPIR:自然语言处理利器,赋能文本智能分析 是一个强大且开放源码的自然语言处理(NLP)工具包,由北京语言大学人机交互实验室开发和维护。该项目旨在为研究人员、开发者和企业用户提供高效、易用的自然语言处理工具,以实现对中文文本的智能分析与处理。 技术解析 NLPIR基于Java平台,支持跨平台运行,并提供丰富的API接口,方便与其他编程语言进行集成。其核心功能包括: 分词系统:NLPIR采...

gitblog_00018的博客 1030

解决 NLPIR (中科院分词) License 过期问题

因为学习需要,使用到了中文分词技术,网上搜索一番,最终选择了名气比较大的中科院分词器(NLPIR/ICTCLAS)。 用了几个月之后突然报错: E:\code\URLClassifier\Data\NLPIR.user Not valid license or your license expired! Please feel free to contact pipy_zhan

勇敢向前冲 1万+

python nlpir_NLPIR(ICTCLAS 2013)分词工具Python封装

本文只适用于python-nlpir V1.0版本,有关V2.0版本详情参照项目源代码。python-nlpir是NLPIR中文分词工具的Python封装,利用SWIG完成C++到python的接口转换。NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;是...

weixin_29688227的博客 803

NLPIR汉语分词系统在VS中使用

首先去官网下载NLPIR(ICTCALS)包。   点我下载   由于笔者在项目中需要用到mysql数据库,而笔者数据库是64位的,所以,笔者这里下载了32位的NLPIR下载包后,又下载了64位的补充包。 下载解压后会得到下列文件夹:(每个文件夹包含东西的具体用途请自行Baidu/Google) 还有64位补充包解压后的东西:(同样,具体用途请自行Baidu/Google) 到

Doubly 2906

nlpir汉语分词系统

nlpir 汉语分词系统(使用java封装整理) 可实现词频,词性,分词、情感预判、聚类授权等大数据相关算法。

关于NLPIR在MAC上的使用

最近在用NLPIR做毕设关于在MAC上的使用做一下笔记:关于loadLibrary错误1.在报错为Exception in thread "main" java.lang.UnsatisfiedLinkError: Unable to load library......的时候。原因是在MAC上不知道为什么不能够使用相对路径,应该改为绝对路径。如图所示,/ICTCLASConf/NLPIR就是相对......

zxtt_strong的博客 2415

NLPIR下载说明【SVN方法下载与网站直接下载】1

介绍。首先,搜索并下载 TortoiseSVN 。推荐从官网下载,软件分为 32 位和 64 位版本,下载时请根据自己的系统位数进行下载;下载好软件后,双击程序

通达信主力检测利器

主力轨迹:100*EMA(EMA(MTM,N1),N1)/EMA(EMA(ABS(MTM),N1),N1),COLORWHITE;主力拉高:IF(VAR51<REF(VAR51,1),VAR51,0),COLORYELLOW,NODRAW;洗盘:IF(VAR5<REF(VAR5,1),VAR5,0),COLOR000079,NODRAW;主力进场:IF(VAR5>REF(VAR5,1),VAR5,0),COLORRED,NODRAW;MAZL:MA(主力轨迹,N2),COLORYELLOW;

zhibiaogong的博客 7463

NLPIR更新授权

中科院NLPIR授权 使用中科院NLPIR进行分词: import pynlpir pynlpir.open() # 打开分词器 sentence = '前一段时间在使用张华平博士的NLPIR中文分词系统' for i in pynlpir.segment(sentence): print i[0], ' ', i[1] 发现报错了: 初始化失败!fail reaso...

ying.F的博客 5548

ImageNet分类实战:用PyTorch复现AlexNet的5个关键技巧(附代码)

本文详细介绍了使用PyTorch复现经典AlexNet模型进行ImageNet图像分类的五个关键工程技巧。内容涵盖模型架构的现代重构、训练策略优化、核心组件实现与替代方案,以及实用的训练调试方法,并提供了完整的代码示例,帮助开发者深入理解深度卷积神经网络的实现细节与优化思路。

i0j1k2l3m的博客 94

java nlpir_NLPIR分词工具的使用(java环境下)

一、NLPIR是什么?NLPIR(汉语分词系统)由中科大张华平博士团队开发,主要功能包括:中文分词,词性标注,命名实体识别,用户词典功能,详情见官网:http://ictclas.nlpir.org/。二、java环境下的使用:主要参考了如下资料:http://www.360doc.com/content/14/0926/15/19424404_412519063.shtml下面是个人的使用方法,...

weixin_35922953的博客 457

从零开始,手把手教你用RTL代码设计一个简单的8位CPU(附状态图与ALU设计)

本文详细介绍了如何从零开始设计一个简单的8位CPU,包括状态机设计、ALU实现与RTL编码实战。通过具体的指令集分析、状态图设计和Verilog代码示例,帮助读者深入理解CPU工作原理,并掌握RTL代码编写技巧。特别适合计算机系统学习者和硬件设计爱好者。

weixin_30847063的博客 320

傻白入门芯片设计,SystemVerilog Assertion(SVA)学习(二十一)

对SVA(SystemVerilogt Assertion)有了更深刻的认识,对经典的AveMC形式验证工具进行了介绍

qq_46675545的博客 8471

NLPIR分词使用说明

NLPIR系统授权,基本上1个月要授权一次,在这里替换Data/NLPIR.user即可给出一个分词的使用实例: 1:上官网下载分词工具包2:随便新建一个Java工程;3:把jna.jar放到classpath下面,在eclipse中就是普通的手动添加jar包4:新建或者直接把Data文件夹添加到工程中;5:添加跟自己系统匹配的NLPIR.dll和NLPIR.lib文件,如果是maven工程放到r

yuhushangwei的专栏 3511

【各种轮子2】基于Icepak的PCB散热仿真比较

随着电子产品的集成度越来越高,PCB板的尺寸越来越小,板级芯片散热的问题越来越成为电子工程师的一个重要挑战。对于板级芯片散热,主要依靠工程师对PCB自身的设计进行优化,同时要兼顾系统的尺寸和成本。本文分别从芯片角度和PCB角度进行建模,芯片模型选用QFN封装,PCB模型采用走线导入模型,探讨了芯片结构,PCB铜厚,PCB叠层厚度对芯片散热的影响。

3669

NLPIR分词系统的使用

前身是2000年发布的ICTCLAS,2009年更为现名。张华平博士打造。 Java课设做自动问答系统,用到了,所以记录一下使用方法,网上方法可能有点老,所以自己发现没有那么复杂。 https://github.com/NLPIR-team/NLPIR 上下载源码,结构如下: 特别注意,NLPIR分词系统中的证书,每一个月需更新一次。每个工程中的Data文件基本都是过期的,运行时,需用Li...

lucky_xinyeol的博客 3526

WSL2安装(详细过程)

适用于 Linux 的 windows 子系统允许开发人员直接在 Windows 上运行 GNU/Linux 环境 -- 包括大多数命令行工具、实用程序和应用程序,无需修改,而无需传统虚拟机或dualbot设置的开销。

qq_43636384的博客 3万+

YOLO12涨点改进| 损失函数改进篇 |AAAI 2025| 一种小目标检测SDLoss损失函数,解决现有损失函数对不同目标尺度敏感度不足的局限,提高了网络检测不同尺度目标的敏感能力,助力高效涨点

本文提出了一种改进的小目标检测方法SDLoss,通过动态调整尺度损失与位置损失的权重,优化了YOLOv12模型的性能。针对红外小目标检测中存在的两个主要问题:1)标准卷积难以捕捉目标的高斯空间分布特性;2)现有损失函数对不同尺度目标的敏感度不足,研究团队开发了Pinwheel-shaped卷积(PConv)和Scale-based Dynamic损失函数(SDLoss)。PConv通过不对称卷积核设计显著提升感受野,SDLoss则根据目标大小动态平衡尺度与位置损失的影响。

Ai缝合怪、助力小伙伴高效发论文 238

java nlpir_4-NLPIR汉语分词系统-JAVA

好吧,之前用的是旧版的,现在出了个新版的,优先选择用新版的哈。从官网下载相应的开发包,然后主要需要找到这几个东西添加到项目工程里面,1.Data文件夹 2.NLPIR_JNI.DLL 3.NLPIR.jar 4.nlpir.properties添加完那些东西后,需要配置的东西主要为nlpir.properties文件,大概内容如下:dll_or_so_path=D\:\\Spiliter\\NLP...

weixin_28984915的博客 187

「自然语言驱动生产力」23. 科研神器:DeepSeek+EndNote实现文献智能综述

摘要:传统文献综述面临周期长、漏检率高、数据整合繁琐等痛点,某985课题组数据显示,4人团队完成一篇综述平均需5个月,重要成果遗漏率达25%。本文提出基于DeepSeek+EndNote的智能综述方案,通过“自然语言解析→精准检索→智能筛选→自动生成”四步流程实现全自动化。核心技术包括检索式智能生成算法、文献优先级评分模型、可视化图表自动生成工具及结构化综述框架引擎。实际应用中,文献调研周期从3-6个月缩短至2周,重要成果遗漏率降至3%以下,图表制作时间完全解放。某课题组采用该方案后,1人3周完成的综述被A

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 1666

整理NLPIR基本功能函数

整理NLPIR基本功能函数

Northeast_Husky的博客 1063

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

关于使用NLPIR-ICTCLAS分词系统

在网络上看了几篇关于使用NLPIR-ICTCLAS20xx分词系统文章         首先,在官网(http://ictclas.nlpir.org/)下载源码,打开提取文件及文件夹(data,NLPIR.dll,NLPIR.h,NLPIR.lib)到新建工程目录下,然后在工程里面编写以下代码 #include "NLPIR.h" #pragma comment(lib, "NLPIR.

u013219964的博客 2043

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

php nlpir,NLPIR简介及使用配置

NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;官方网址:http://ictclas.nlpir.org(地址一直在变,要是不能用直接搜NLPIR)资源下载要是直接从官网下载最新版本,会一直配置出错,我已经整合了可用的资源,分享在网盘:http://p...

weixin_32163411的博客 378

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

上一篇: RapidMiner数据挖掘
下一篇: NLPIR Not valid license or your license expired!
arrow8071
博客等级 码龄15年 7粉丝 0原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值