ICTCLAS2013 的使用方法

python nlpir_NLPIR(ICTCLAS 2013)分词工具Python封装 本文只适用于python-nlpir V1.0版本,有关V2.0版本详情参照项目源代码。python-nlpir是NLPIR中文分词工具的Python封装,利用SWIG完成C++到python的接口转换。NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;是... 阅读详情

这个工具是什么?先看看他的官方介绍吧:

NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;张华平博士先后倾力打造十余年,内核升级10次。


[ICTCLAS版本已经更新,按照本博客操作可能遇到错误,最新ICTCLAS2014 c++版本使用方法请点击打开链接]


ICTCLAS2013 Java版本的使用方法 请点击点击打开链接

ICTCLAS2014 c++版本的使用方法  请点击点击打开链接

一,先下载c++版本:点击打开链接

解压文件后看到很多文件的:


图1. rar解压后的文件图


二,自己新建一个c++工程,在vs2010建名为ICTCLAS的工程。

建好后如图所示:


图2. 工程ICTCLAS根目录下的文件


三,将图1中的example-c文件夹(是整个文件夹,下同)复制到图2的ICTCLAS目录下,并且在ICTCLAS源文件中导入,同时将ICTCLAS.cpp文件下的_tmain函数注释掉。如图:


图3. 导入example-c文件夹下的Example-C.cpp文件



图4. 导入完成后,工程下面出现Example-C.cpp文件(图中红底线示意)


四,将图1中的include文件夹复制到图2的工程根目录下。否则,会出现下图所示错误。

图5. 复制include文件夹之前工程提示“无法打开源文件 "../../include/NLPIR.h"”



图6.复制include文件夹之后,工程ICTCLAS根目录下的文件


五,

1>将图1中的lib文件夹复制到图2工程根目录下面,并且在项目->添加现有项中导入lib下的NLPIR.lib文件。


图7. 导入lib文件夹下NLPIR.lib文件


2>将图1中bin文件夹下的NLPIR.dll文件复制到工程根目录下ICTCLAS目录下Debug目录下。

3>注释掉Example-C.cpp文件第9行语句。

 #pragma comment(lib, "../../bin/NLPIR.lib")  -->   // #pragma comment(lib, "../../bin/NLPIR.lib")

  (不要问我为什么,我只能告诉你,我也不知道。在我实验中不注释掉这句话,依然报错 fatal error LNK1104。)


如果上述3步没有做好,控制台可能会输出下图所示的错误: 


图8. 导入库文件失败,控制台输出错误信息: LINK : fatal error LNK1104: 无法打开文件“../../bin/NLPIR.lib”


六,将图1中的Data文件夹和test文件夹复制到图2工程根目录下。


图9, 步骤六完成后工程根目录下的文件


七,运行工程,虽然控制台输出乱码信息,但是在test文件夹下出现test-utf8.TXT的分词结果文件test-utf8.TXT_result1.txt,test-utf8.TXT_result2.txt

图10,步骤七完成后,test目录下的文件(红色底线文件是新生成的结果文件)


如果想试试分gbk文件。可以将Example-C.cpp文件第322行的注释去掉。

  //testNewWord(GBK_CODE);    -->   testNewWord(GBK_CODE);

在此我去掉322行注释,对333行进行注释。控制台输出新词识别结果,并且test文件夹下出现对应文件的分词结果文件。


图11,控制台输出新词识别结果


至此,工程已经可以对文件进行分词(注意需要制定文件的格式GBK_CODE,UTF8_CODE等)。


八,如果想对Example-C.cpp文件325行的句子进行分词。如下操作:

1>去掉Example-C.cpp文件327行的注释

//SplitGBK(sInput);   -->  SplitGBK(sInput)

********如果这个时候运行,我的工程会输出:ICTCLAS INIT FAILED!  (初始化失败) 需要进行下面的步骤。

2>修改Example-C.cpp文件80行

if(!ICTCLAS_Init())//数据在当前路径下,默认为GBK编码的分词

-->

if(!ICTCLAS_Init("..",0))//数据在当前路径下,默认为GBK编码的分词

******** 个人经验:他的这个0 表示句子是GBK编码的

运行工程得到下面结果:


图12. 对输入的句子进行的分词结果



后记:

1>个人才疏学浅,比如第七步控制台为何输出乱码信息,目前还没解决。等以后解决在进行补充。

2>分词工具中的一些细化的使用:比如加载自己的词典,如何进行分词粒度调节,等以后有时间再进行研究。


使用ICTCLAS2015进行分词 使用ICTCLAS2015进行分词 在今年的Imagine Cup中使用到了语义分析的部分,其中需要分词作为基础,我是用的是中科院的ICTCLA2015,本篇博客我来讲讲如何使用ICTCLAS2015进行分词 ICTCLAS2015简介中文词法分析是中文信息处理的基础与关键。中国科学院计算技术研究所在多年研究工作积累的基础上,研制出了汉语词法分析系统ICTCLAS(Institute of Co 阅读详情

相关推荐

ICTCLAS_api及使用方法

ICTCLAS_api及使用方法,有详细教程

中文分词器ICTCLAS使用方法(Java)

http://www.cnblogs.com/CheeseZH/archive/2012/11/27/2791037.html 吃水不忘挖井人,这篇文章给了我很大帮助:http://blog.youkuaiyun.com/caimo/article/details/7686872,这篇文章写的蛮详细,不过是ICTCLAS在web项目中的应用,于是我借花献佛,把它整理了一下成为java项目的应用。 1、到I...

weixin_34055787的博客 1438

ICTCLAS2013

简介: 应各位ICTCLAS用户的要求,张华平博士提前发布ICTCLAS2013 版本,为了与以前工作进行大的区隔,并推广NLPIR自然语言处理与信息检索共享平台,从本版本开始,系统名称调整为NLPIR汉语分词系统。张博士先后倾力打造十余年,内核升级10次,全球用户突破20万,先后获得了2010年钱伟长中文信息处理科学技术奖一等奖,2003年国际SIGHAN分词大赛综合第一名,2002年国内973评测综合第一名。 NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;

中科院分词ICTCLAS5.0_JNI 使用方法

JAVA 使用ICTCLAS配置Eclipse工程。

抛砖引玉 2万+

基于NLPIR(ICTCLAS2013)的中文分词C#实例

NLPIR(ICTCLAS2013)是由张华平博士发布的中文分词系统,可用多种语言进行二次开发,该资源是用C#语言在VS2010环境下在http://www.nlpir.org/提供的原示例基础上进行改进后的示例程序。

中科院分词ictclas2013使用java调用

NULL 博文链接:https://cjp1989.iteye.com/blog/1856613

ICTCLAS2013(NLPIR汉语分词系统) Java版本的使用方法

这个工具是什么?先看看他的官方介绍吧: NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;张华平博士先后倾力打造十余年,内核升级10次。 c++版本的使用方法:点击打开链接 Java32位版本下载地址:

nkliming的专栏 2458

保姆级教程:手把手教你为STM32F407和W25Q128制作Keil MDK的SPI Flash下载算法(FLM文件)

本文提供了一份详细的教程,指导开发者如何为STM32F407和W25Q128制作Keil MDK的SPI Flash下载算法(FLM文件)。从理解下载算法的核心机制到实现FlashPrg.c的核心操作,再到链接脚本与地址映射实战,手把手教你完成定制化SPI Flash下载算法的开发与优化。

weixin_28716769的博客 408

ictclas2014 java_ICTCLAS2013 Java版本的使用方法

这个工具是什么?先看看他的官方介绍吧:NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;张华平博士先后倾力打造十余年,内核升级10次。[最近试用日期:2013-12-15]ICTCLAS2013c++版本的使用方法:点击打开链接ICTCLAS2014c++...

weixin_39589253的博客 121

给硬件工程师的UCIe软件配置入门:从寄存器表到实战调试,一篇讲透

本文为硬件工程师提供UCIe软件配置的全面指南,从寄存器表解析到实战调试技巧,涵盖链路训练、错误排查等关键环节。通过详细代码示例和分层诊断法,帮助工程师快速掌握UCIe寄存器访问机制,提升异构集成开发效率。

weixin_30268921的博客 312

【技术拆解】Illumina边合成边测序(SBS)核心流程全解析 | 从文库构建到数据分析

本文深入解析了Illumina边合成边测序(SBS)技术的完整流程。从DNA样本的文库构建(片段化、加接头、扩增),到Flowcell上的簇生成(桥式PCR),再到核心的边合成边测序(SBS)循环(荧光标记、可逆终止),最后简述了从原始数据到生物学洞见的数据分析步骤,为理解这一主流高通量测序技术提供了清晰的框架。

weixin_29201859的博客 535

ICTCLAS2013 Java版本的使用方法

这个工具是什么?先看看他的官方介绍吧: NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;张华平博士先后倾力打造十余年,内核升级10次。 c++版本的使用方法:点击打开链接 Java32位版本下载地址:点击打开链接 介绍时候

自然语言处理大菜鸟--HsingWang 1万+

Android 12 HAL开发避坑实录:手把手教你用AIDL在Native层实现一个可开机自启动的Service

本文详细介绍了在Android 12 HAL开发中,如何通过AIDL在Native层实现一个可开机自启动的Service。从环境准备、AIDL接口定义、服务实现到VINTF集成与SELinux策略配置,提供了完整的实战指南,帮助开发者避开常见陷阱,提升开发效率。

weixin_28314575的博客 321

关于使用中文分词工具ICTCLAS2013 Java版本乱码的问题

中文分词工具ICTCLAS2013Java版本的使用什么的我就不罗嗦了,不知道怎么使用的点这里点击打开链接。 我的eclispe的text file encoding是GBK的。这个也就不废话了。 运行一下,控制台输出一堆乱码的东西: 图1. 直接运行后控制台输出乱码。 为什么会这个样子呢?看看工具发布主页的FAQ中的一个问题: 图2. FAQ中一个关于编码的问题。

自然语言处理大菜鸟--HsingWang 5934

高级图像增强——模拟雨天,雾,雪,阳光,阴影,运动模糊,畸变等14种效果,同步扩充标签文件

本文提供了一些高级的,特殊的图像增强方法,具体包括、光。

Limiiiing的博客 1308

性能优化-高通cDSP(QDSP6)架构详解

高通cDSP开发的商业价值30秒快速认识高通cDSP开发的商业价值【高通cDSP旨在处理一些简单但需要大量计算的场景,如图像处理、科学计算、AI训练、计算机视觉等。这些场景使用CPU来运算会极大的降低CPU的吞吐量,因此利用现代寄存器较宽的特性设计出了适配数据并行的DSP芯片,cDSP就是典型的代表。利用cDSP+CPU既可以满足一般的使用场景,也可以完成现代图像和视频数据的处理。

发狂的小花的博客 5943

NLPIR中文分词系统之Java接口的使用

昨天接到经理的安排,让我做项目中的分词模块并介绍说可以使用中科院的ICTCLAS(最新版本改名为NLPIR)中文分词系统。于是自己花了一下午的时间来了解它,并试着搭建测试环境;这方面的资料比较少,幸好使用起来并不复杂,借助着搜索引擎的帮助,终于在官方文档以及网络博客的帮助下弄明白了其Java接口的使用方法。 参考资源: http://blog.youkuaiyun.com/hellonlp/art

竹叶青的专栏 1万+

Python3实现基于ARIMA模型来预测茅台股票价格趋势

ARIMA(Autoregressive Integrated Moving Average)模型是一种广泛使用的时间序列分析方法,它可以用于对未来的数据进行预测。ARIMA模型由自回归模型(AR模型)、差分整合模型(I模型)和移动平均模型(MA模型)组成,因此也被称为ARIMA(p,d,q)模型。其中,p表示自回归阶数,d表示差分阶数,q表示移动平均阶数。具体来说,ARIMA模型可以通过以下步骤进行建模:数据预处理:对时间序列进行平稳性检验,如果不满足平稳性,则进行差分操作。

m0_64336780的博客 2万+

python文本数据处理_用python做NLP:中文文本预处理

原标题:用python做NLP:中文文本预处理数据挖掘入门与实战 公众号: datadw一 得到原始文本内容defFileRead(self,filePath):f = open(filePath)raw=f.read()returnraw 二 中文分词defNlpirTokener(self,raw):result=''tokens = nlpir.Seg(raw)forw intokens:#...

weixin_39768388的博客 715

核磁共振常用的文件格式介绍:NIfTI volume 格式 (*.nii), GIFTI 格式 (*.gii), CIFTI 格式 (*.nii)

NIfTI volume 格式 (*.nii)GIFTI 格式 (*.gii)CIFTI 格式 (*.nii)Scene file文件 (*.scene)规格文件 (*.spec)解剖 (*.annot)一个场景文件包含一个或多个场景;每个场景实际上是保存时 wb_view 内部状态的快照。这包括有关加载哪些文件、如何显示、如何配置选项卡的信息(选择了哪些表面、在每个层中选择了哪些文件、打开了哪些层、哪些视图旋转、调色板设置、平铺选项卡等),以及在它们上面添加了哪些注释(文本、箭头、圆圈等)。

从事脑科学核磁共振方法学研究,在Nature communications等权威期刊发表研究论文,熟练掌握磁共振处理方法和统计学方法,欢迎大家和我交流。 3042

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

ICTCLAS2014 C++版本 的使用方法

这个工具是什么?先看看他的官方介绍吧: NLPIR汉语分词系统(又名ICTCLAS2013),主要功能包括中文分词;词性标注;命名实体识别;用户词典功能;支持GBK编码、UTF8编码、BIG5编码。新增微博分词、新词发现与关键词提取;张华平博士先后倾力打造十余年,内核升级10次。 虽然介绍时候还是用的ICTCLAS2013,但是你会发现下载的版本里面dll是2014版本的。

自然语言处理大菜鸟--HsingWang 1万+

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

ICTCLAS2013 Java版本的配置

1.下载  20131115123549_nlpir_ictclas2013_u20131115_release 就是第一个那个全部的包 2 下载 20130416090323_Win-64bit-JNI-lib 就是 补充包 3 看图片 建立eclipse工程 把 两个下载包里面分别复制进工程 如图 4 乱码 及其其他问题 一部分参考 http://blog.youkuaiyun.com/

zb3465780的专栏 1103

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

在eclipse中使用NLPIR(ICTCLAS)2013进行分词

1、在官网上下载最新的工具包 官网地址为:http://ictclas.nlpir.org/newsdownloads?DocId=389 下载解压后结构如下: 树状结构如下: | Readme.txt-------------------------->介绍 | +---bin | +---DocExtractor----------->...

小贤的博客 1024

ictclas怎么配置java_ICTCLAS2013 Java版本的配置

1.下载20131115123549_nlpir_ictclas2013_u20131115_release 就是第一个那个全部的包2 下载 20130416090323_Win-64bit-JNI-lib 就是 补充包3 看图片 建立eclipse工程 把 两个下载包里面分别复制进工程 如图另一部分 如乱码 路径 等问题参考import kevin.zhang.NLPIR;public ...

weixin_39706491的博客 234
上一篇: C++ Boost 笔记
下一篇: 张乐博士的工具包mexent 笔记
warrioR_wx
博客等级 码龄16年 388粉丝 113原创
评论 15
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值