ICTCLAS2013 的使用方法

python nlpir_NLPIR(ICTCLAS 2013)分词工具Python封装 本文只适用于python-nlpir V1.0版本,有关V2.0版本详情参照项目源代码。python-nlpir是NLPIR中文分词工具的Python封装,利用SWIG完成C++到python的接口转换。NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;是... 阅读详情

这个工具是什么?先看看他的官方介绍吧:

NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;张华平博士先后倾力打造十余年,内核升级10次。


[ICTCLAS版本已经更新,按照本博客操作可能遇到错误,最新ICTCLAS2014 c++版本使用方法请点击打开链接]


ICTCLAS2013 Java版本的使用方法 请点击点击打开链接

ICTCLAS2014 c++版本的使用方法  请点击点击打开链接

一,先下载c++版本:点击打开链接

解压文件后看到很多文件的:


图1. rar解压后的文件图


二,自己新建一个c++工程,在vs2010建名为ICTCLAS的工程。

建好后如图所示:


图2. 工程ICTCLAS根目录下的文件


三,将图1中的example-c文件夹(是整个文件夹,下同)复制到图2的ICTCLAS目录下,并且在ICTCLAS源文件中导入,同时将ICTCLAS.cpp文件下的_tmain函数注释掉。如图:


图3. 导入example-c文件夹下的Example-C.cpp文件



图4. 导入完成后,工程下面出现Example-C.cpp文件(图中红底线示意)


四,将图1中的include文件夹复制到图2的工程根目录下。否则,会出现下图所示错误。

图5. 复制include文件夹之前工程提示“无法打开源文件 "../../include/NLPIR.h"”



图6.复制include文件夹之后,工程ICTCLAS根目录下的文件


五,

1>将图1中的lib文件夹复制到图2工程根目录下面,并且在项目->添加现有项中导入lib下的NLPIR.lib文件。


图7. 导入lib文件夹下NLPIR.lib文件


2>将图1中bin文件夹下的NLPIR.dll文件复制到工程根目录下ICTCLAS目录下Debug目录下。

3>注释掉Example-C.cpp文件第9行语句。

 #pragma comment(lib, "../../bin/NLPIR.lib")  -->   // #pragma comment(lib, "../../bin/NLPIR.lib")

  (不要问我为什么,我只能告诉你,我也不知道。在我实验中不注释掉这句话,依然报错 fatal error LNK1104。)


如果上述3步没有做好,控制台可能会输出下图所示的错误: 


图8. 导入库文件失败,控制台输出错误信息: LINK : fatal error LNK1104: 无法打开文件“../../bin/NLPIR.lib”


六,将图1中的Data文件夹和test文件夹复制到图2工程根目录下。


图9, 步骤六完成后工程根目录下的文件


七,运行工程,虽然控制台输出乱码信息,但是在test文件夹下出现test-utf8.TXT的分词结果文件test-utf8.TXT_result1.txt,test-utf8.TXT_result2.txt

图10,步骤七完成后,test目录下的文件(红色底线文件是新生成的结果文件)


如果想试试分gbk文件。可以将Example-C.cpp文件第322行的注释去掉。

  //testNewWord(GBK_CODE);    -->   testNewWord(GBK_CODE);

在此我去掉322行注释,对333行进行注释。控制台输出新词识别结果,并且test文件夹下出现对应文件的分词结果文件。


图11,控制台输出新词识别结果


至此,工程已经可以对文件进行分词(注意需要制定文件的格式GBK_CODE,UTF8_CODE等)。


八,如果想对Example-C.cpp文件325行的句子进行分词。如下操作:

1>去掉Example-C.cpp文件327行的注释

//SplitGBK(sInput);   -->  SplitGBK(sInput)

********如果这个时候运行,我的工程会输出:ICTCLAS INIT FAILED!  (初始化失败) 需要进行下面的步骤。

2>修改Example-C.cpp文件80行

if(!ICTCLAS_Init())//数据在当前路径下,默认为GBK编码的分词

-->

if(!ICTCLAS_Init("..",0))//数据在当前路径下,默认为GBK编码的分词

******** 个人经验:他的这个0 表示句子是GBK编码的

运行工程得到下面结果:


图12. 对输入的句子进行的分词结果



后记:

1>个人才疏学浅,比如第七步控制台为何输出乱码信息,目前还没解决。等以后解决在进行补充。

2>分词工具中的一些细化的使用:比如加载自己的词典,如何进行分词粒度调节,等以后有时间再进行研究。


使用ICTCLAS2015进行分词 使用ICTCLAS2015进行分词 在今年的Imagine Cup中使用到了语义分析的部分,其中需要分词作为基础,我是用的是中科院的ICTCLA2015,本篇博客我来讲讲如何使用ICTCLAS2015进行分词 ICTCLAS2015简介中文词法分析是中文信息处理的基础与关键。中国科学院计算技术研究所在多年研究工作积累的基础上,研制出了汉语词法分析系统ICTCLAS(Institute of Co 阅读详情

相关推荐

ICTCLAS_api及使用方法

ICTCLAS_api及使用方法,有详细教程

中文分词器ICTCLAS使用方法(Java)

http://www.cnblogs.com/CheeseZH/archive/2012/11/27/2791037.html 吃水不忘挖井人,这篇文章给了我很大帮助:http://blog.youkuaiyun.com/caimo/article/details/7686872,这篇文章写的蛮详细,不过是ICTCLAS在web项目中的应用,于是我借花献佛,把它整理了一下成为java项目的应用。 1、到I...

weixin_34055787的博客 1438

ICTCLAS2013

简介: 应各位ICTCLAS用户的要求,张华平博士提前发布ICTCLAS2013 版本,为了与以前工作进行大的区隔,并推广NLPIR自然语言处理与信息检索共享平台,从本版本开始,系统名称调整为NLPIR汉语分词系统。张博士先后倾力打造十余年,内核升级10次,全球用户突破20万,先后获得了2010年钱伟长中文信息处理科学技术奖一等奖,2003年国际SIGHAN分词大赛综合第一名,2002年国内973评测综合第一名。 NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;

中科院分词ICTCLAS5.0_JNI 使用方法

JAVA 使用ICTCLAS配置Eclipse工程。

抛砖引玉 2万+

基于NLPIR(ICTCLAS2013)的中文分词C#实例

NLPIR(ICTCLAS2013)是由张华平博士发布的中文分词系统,可用多种语言进行二次开发,该资源是用C#语言在VS2010环境下在http://www.nlpir.org/提供的原示例基础上进行改进后的示例程序。

中科院分词ictclas2013使用java调用

NULL 博文链接:https://cjp1989.iteye.com/blog/1856613

ICTCLAS2013(NLPIR汉语分词系统) Java版本的使用方法

这个工具是什么?先看看他的官方介绍吧: NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;张华平博士先后倾力打造十余年,内核升级10次。 c++版本的使用方法:点击打开链接 Java32位版本下载地址:

nkliming的专栏 2458

Mac M1安装Hive

如果你确定装过mysql,但是执行上述命令后,发现不存在mysql命令,那说明你的系统环境没有配置。出现一段空白,接着出现Initialization script completed。关闭hiveServer2时,执行如下命令查看hive进程;执行上面命令后,若有结果输出,则证明配置完成了。如果出现mac权限问题,解决方法参考。就可以见到hive的web界面了。若出现路径,则存在mysql。配置好后保存,使配置文件生效。用户名hive,密码hive。用户名通过如下命令查看。通过如下命令杀死该进程。

总结复盘,才能不迷失自己! 2387

ictclas2014 java_ICTCLAS2013 Java版本的使用方法

这个工具是什么?先看看他的官方介绍吧:NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;张华平博士先后倾力打造十余年,内核升级10次。[最近试用日期:2013-12-15]ICTCLAS2013c++版本的使用方法:点击打开链接ICTCLAS2014c++...

weixin_39589253的博客 121

从一个过气考渣的角度看LLM智能化测试用例生成

根据业务需求生成测试用例,会涉及到相关上下文的召回、用例生成等场景。除了用例生成之外,也可以考虑应用LLM进行用例评审。因此,本文将涉及以下内容。

software_test010的博客 827

C#---第十一课:对列表的各种操作,添加、删除、排序、列表长度、获取元素的索引、FirstOrDefault()、SingleOrDefault()、last()

1.添加元素 2.删除元素 (1)删除列表中指定的元素 (2)删除列表A中所有与列表B相交的元素---常规 (3)删除列表A中所有与列表B相交的元素---lambda 3.排序(正序、倒序) 4.获取列表的最大容量(长度)、已用容量 6.获取元素在列表中的位置(index) 7.判断某元素是否在列表List中 8.获取列表中第一个元素First() & FirstOrDefault() 9.获取列表中唯一元素Single() & SingleOrDefault() 10.获取列表中最后一个元素

Alien-Hu 3625

ICTCLAS2013 Java版本的使用方法

这个工具是什么?先看看他的官方介绍吧: NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;张华平博士先后倾力打造十余年,内核升级10次。 c++版本的使用方法:点击打开链接 Java32位版本下载地址:点击打开链接 介绍时候

自然语言处理大菜鸟--HsingWang 1万+

手把手教你用XC7A35T FPGA搭建低成本机器视觉系统(含开发板选型指南)

本文详细介绍了如何利用AMD(原Xilinx)Artix-7系列中的XC7A35T FPGA芯片,搭建一套低成本的机器视觉系统。内容涵盖从芯片选型深度剖析、开发板(如黑金AX7035B)对比指南,到使用Vivado创建工程、编写图像处理模块(如RGB转灰度),以及资源优化和与上位机(如OpenCV)协同工作的完整流程,旨在为开发者提供一套可实践的高性价比硬件加速视觉解决方案。

beta5的博客 351

关于使用中文分词工具ICTCLAS2013 Java版本乱码的问题

中文分词工具ICTCLAS2013Java版本的使用什么的我就不罗嗦了,不知道怎么使用的点这里点击打开链接。 我的eclispe的text file encoding是GBK的。这个也就不废话了。 运行一下,控制台输出一堆乱码的东西: 图1. 直接运行后控制台输出乱码。 为什么会这个样子呢?看看工具发布主页的FAQ中的一个问题: 图2. FAQ中一个关于编码的问题。

自然语言处理大菜鸟--HsingWang 5934

Python 包安装报错:ERROR: No matching distribution found for xxx 的全面排查指南

本文全面解析Python包安装时常见的`ERROR: No matching distribution found for xxx`报错。从检查包名拼写、网络与镜像源配置,到深入分析Python版本、操作系统等环境兼容性问题,提供了从简到繁的排查步骤。文章还介绍了使用`pip debug`、`-v`参数等高级诊断工具,并给出了更换包管理器、使用Docker等终极解决方案,帮助开发者高效解决依赖安装难题。

p8q9r0的博客 895

电路仿真软件PSIM简介

PSIM的基本使用操作...

qq_55203246的博客 7174

NLPIR中文分词系统之Java接口的使用

昨天接到经理的安排,让我做项目中的分词模块并介绍说可以使用中科院的ICTCLAS(最新版本改名为NLPIR)中文分词系统。于是自己花了一下午的时间来了解它,并试着搭建测试环境;这方面的资料比较少,幸好使用起来并不复杂,借助着搜索引擎的帮助,终于在官方文档以及网络博客的帮助下弄明白了其Java接口的使用方法。 参考资源: http://blog.youkuaiyun.com/hellonlp/art

竹叶青的专栏 1万+

WinForm轻松打造AntDesign现代化工具栏

摘要: 本文介绍如何在WinForm中利用AntdUI库实现AntDesign风格工具栏,包括安装配置、动态生成按钮/下拉菜单、布局优化及主题美化。通过AntButton、AntDropdown等控件结合事件绑定,可快速构建支持图标、工具提示、权限控制的现代化工具栏,并解决常见图标加载、布局错乱问题。最后提供代码示例与响应式设计技巧,助你打造高效美观的WinForm界面。 (字数:150)

java专栏 1590

python文本数据处理_用python做NLP:中文文本预处理

原标题:用python做NLP:中文文本预处理数据挖掘入门与实战 公众号: datadw一 得到原始文本内容defFileRead(self,filePath):f = open(filePath)raw=f.read()returnraw 二 中文分词defNlpirTokener(self,raw):result=''tokens = nlpir.Seg(raw)forw intokens:#...

weixin_39768388的博客 715

使用Matlab实现海洋监视雷达检测仿真

海洋监视雷达是一项重要的海洋探测技术,可以用于海上船只、飞机、潜艇等目标的探测和监视,具有广泛的应用价值。本篇文章将介绍如何使用Matlab进行海洋监视雷达的检测仿真,并提供相应的源代码。本篇文章提供了利用Matlab进行海洋监视雷达检测仿真的基本思路和代码实现。读者可以根据自己的需求进行修改和优化,以适应不同的应用场景。使用Matlab实现海洋监视雷达检测仿真。

2301_78484069的博客 448

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

ICTCLAS2014 C++版本 的使用方法

这个工具是什么?先看看他的官方介绍吧: NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;张华平博士先后倾力打造十余年,内核升级10次。 虽然介绍时候还是用的ICTCLAS2013,但是你会发现下载的版本里面dll是2014版本的。

自然语言处理大菜鸟--HsingWang 1万+

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

ICTCLAS2013 Java版本的配置

1.下载  20131115123549_nlpir_ictclas2013_u20131115_release 就是第一个那个全部的包 2 下载 20130416090323_Win-64bit-JNI-lib 就是 补充包 3 看图片 建立eclipse工程 把 两个下载包里面分别复制进工程 如图 4 乱码 及其其他问题 一部分参考 http://blog.youkuaiyun.com/

zb3465780的专栏 1103

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

在eclipse中使用NLPIR(ICTCLAS)2013进行分词

1、在官网上下载最新的工具包 官网地址为:http://ictclas.nlpir.org/newsdownloads?DocId=389 下载解压后结构如下: 树状结构如下: | Readme.txt-------------------------->介绍 | +---bin | +---DocExtractor----------->...

小贤的博客 1024

ictclas怎么配置java_ICTCLAS2013 Java版本的配置

1.下载20131115123549_nlpir_ictclas2013_u20131115_release 就是第一个那个全部的包2 下载 20130416090323_Win-64bit-JNI-lib 就是 补充包3 看图片 建立eclipse工程 把 两个下载包里面分别复制进工程 如图另一部分 如乱码 路径 等问题参考import kevin.zhang.NLPIR;public ...

weixin_39706491的博客 234
上一篇: C++ Boost 笔记
下一篇: 张乐博士的工具包mexent 笔记
warrioR_wx
博客等级 码龄16年 388粉丝 113原创
评论 15
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值