ICTCLAS分词系统研究(十)--后记

ICTCLAS分词系统研究(一)         ICTClAS分词系统是由中科院计算所的张华平、刘群所开发的一套获得广泛好评的分词系统,难能可贵的是该版的Free版开放了源代码,为我们很多初学者提供了宝贵的学习材料。      但有一点不完美的是,该源代码没有配套的文档,阅读起来可能有一定的障碍,尤其是对C/C++不熟的人来说.本人就一直用Java/VB作为主要的开发语言,C/C++上大学时倒是学过,不过工作之后一直没有再使 阅读详情
     FreeICTCLAS中文分词系统从2006年3月就开始接触 ,之后通过研读相关论文和源代码,写了一系列的学习笔记 ,给很多同样的中文分词爱好者提供了一个可参考的文档资料 。但因为工作及其它原因(嘿嘿,说白就了就是比较偷懒 ,没有坚持下去),把该项目做成一个java版的原始想法一度中断 。之后,也曾多次尝试重新拾起,完成我的一个心愿 ,但复杂的工作都让我半途而费。
       4月份的时候,一个爱好才MSN上问我相关问题 ,又激起了我的原始想法,同时看到吕震宇老师只用了半个月的时间就 完成了C#版本的工作,并且写了完成的系列文章,又大大刺激我的神 经。想想我的系列文章只到半道,ictclas4j的程序也是半拉 子工程,真是惭愧之极。于是下定决定,一定要把这个项目完成 ,给自己也给关心ictclas的朋友一个交待。
       经过三个星期的不懈努力,到现在为止,基本上完整的实现了原Fre eICTCLAS所实现的功能。原VC++实现的程序比我想象的更 复杂,中间涉及大量的临时性的数据结构和大量的全局变量 ,搞的我非常头大,好几次都有放弃的想法。不过谢天谢地 ,我这次终于坚持下来了。从java程序的角度从出 ,我对原来的数据结构做了大量调整和优化,去掉了很多不必要的中间 变量。经过优化后,在整个分词过后中只用到两个对象:Atom 、SegNode,原子和分词结点,整个分词过程就是对SegNo de的不断调整和改进,最终得到分词结果。
     因为到现在为止,我只是做了一些简单的测试,可能还有很多的BUG 在里面(对标点符号的处理就是一问题),并且分词的速度还远远达不 到我的要求,程序还有很多改进的地方,所以暂时源代码还不会放上来 ,但我想最迟一个星期之内,我可以上传到论坛供大家测试。同时 ,我已在Google Code上申请了ictclas4j的开源项目,期望有兴趣的朋友 加入进来共同改进。
     再次感谢张华平、刘群老师,你们的杰作ICTCLAS分词系统给国内的自然语言研究提供了一个很好的入门工具。也非常感谢吕震宇、DanceFire精辟入理的相关分析 文章!
相关参考:

 ICTCLAS分词系统论坛组:http://groups.google.com/group/ictclas

ICTCLAS for java研究,sinboy的BLOG:http://blog.youkuaiyun.com/sinboy/category/207165.aspx

ICTCLAS for C#研究,吕震宇的BLOG:http://www.cnblogs.com/zhenyulu/category/85598.html

DanceFire的专栏:http://blog.youkuaiyun.com/DanceFire/category/294373.aspx

ICTCLAS的老家:http://www.i3s.ac.cn/index.htm

ICTCLA4J开源项目:http://code.google.com/p/ictclas4j/

使用ICTCLAS2015进行分词 使用ICTCLAS2015进行分词 在今年的Imagine Cup中使用到了语义分析的部分,其中需要分词作为基础,我是用的是中科院的ICTCLA2015,本篇博客我来讲讲如何使用ICTCLAS2015进行分词 ICTCLAS2015简介中文词法分析是中文信息处理的基础与关键。中国科学院计算技术研究所在多年研究工作积累的基础上,研制出了汉语词法分析系统ICTCLAS(Institute of Co 阅读详情

相关推荐

NLPIR/ICTCLAS 2015 分词系统使用

自然 言的处理的第一步是分词。近期使用了中科院分词系统NLPIR/ICTCLAS 2016。在2014版本以及之前称为ICTCLAS,之后的版本都更名为NLPIR。 新版简介如下:        词法分析是自然语言处理的基础与关键。 张华平博士在多年研究工作积累的基础上, 研制出了 NLPIR 分词系统, 主要功能包括中文分词; 英文分词; 词性标注; 命名实体识别;

Gatherfly 的博客 1万+

ictclas4j java_使用ICTCLAS JAVA版(ictclas4j)进行中文分词

一、ICTCLAS的介绍中国科学院计算技术研究所在多年研究基础上,耗时一年研制出了基于多层隐码模型的汉语词法分析系统 ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System),该系统的功能有:中文分词;词性标注;未登录词识别。分词正确率高达97.58%(最近的973专家组评测结果),基于角色标注的未登录词...

weixin_42452892的博客 331

关于中科院分词系统ictclas java版本 ICTCLAS50_Windows_32_JNI 的使用

关于中科院分词系统ictclas java版本 ICTCLAS50_Windows_32_JNI 的使用问题 首先下载 ictclas的官方网站http://ictclas.org/ictclas_download.aspx  http://ictclas.org/ictclas_download.asp 下载所需的ictclas版本,我使用的是ICTCLAS50_

2034

ictclas4j java_Paoding, Ik, Jeasy, Ictclas4j分词工具

1.Paoding版本: 2.0.4实现类: PaodingAnalyzer依赖包: lucene 2.4使用方法: 主要通过lucene的接口实现,Analyser#tokenStream方法切词效果:传统/意义/意义上/上的/几何/几何学/研究/图形/形的/形状/大/大小/等/性质备注: paoding的切词会漏字(食字),上面的结果就食了 ‘在’ 字;总会进行最小粒度切分,只要在词库里有的词...

weixin_35394437的博客 246

ICTCLAS分词系统研究(四)--初次切分

    经过原子分词后,源字符串成了一个个独立的最小语素单位。下面的初次切分,就是把原子之间所有可能的组合都先找出来。算法是用两个循环来实现,第一层遍历整个原子单位,第二层是当找到一个原子时,不断把后面相邻的原子和该原子组合到一起,访问词典库看它能否构成一个有意义有词组。用数学方法可以做如下描述:有一个原子序列:A(n)(0用伪码表示:for(int I=0;I  Stri

张新波的技术随笔 1万+

ICTCLAS分词系统研究(五)--N最短路径

 ICTCLAS和别的分司系统不一样的地方就是于--N最短路径分词算法。所谓N最短路径其实就是最短路径和最大路径的折中,保留前N个最优路径。这样做的目的就是对这两种方法取长补短,既能达到一个比较理解的分词不达意效果,又能保证分词不达意速度。在此处,我们中国人的中庸思想被完美体现:)。在N-最短路径求解之前,ICTCLAS首先通过二叉分词图表(邻接表,如下图一所示)表示出了每个词组之间的耦合

张新波的技术随笔 1万+

(3.1)用ictclas4j进行中文分词,并去除停用词

酒店评论情感分析系统——用ictclas4j进行中文分词,并去除停用词   ictclas4j是中科院计算所开发的中文分词工具ICTCLAS的Java版本,因其分词准确率较高,而备受青睐。   注:ictclas4j缺点:       a.在eclipse里的java文件一定要保存为gbk编码才可以正常运行,utf-8是不能运行的       b.ictclas4j目前不支持用户自定义字典...

weixin_33836874的博客 262

中文分词包——ictclas4j_0.9.1.jar

基于Lucene的中文分词包,ictclas4j的最新发布,已经打包成jar包。

使用继续完善前人写的文章:使用ICTCLAS JAVA版(ictclas4j)进行中文分词

一、ICTCLAS的介绍中国科学院计算技术研究所在多年研究基础上,耗时一年研制出了基于多层隐码模型的汉语词法分析系统 ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System),该系统的功能有:中文分词;词性标注;未登录词识别。分词正确率高达97.58%(最近的973专家组评测结果),基于角色标注的未登录词

7386

ictclas4j 1.0.0.zip源代码

maven类型直接导入即可。 bug的修复可以参考http://emily2ly.iteye.com/blog/742870 和 http://blog.youkuaiyun.com/luojinping/article/details/8788743 分词结果是中/w 国/w 科/w 学/w 院/w 计/w 算/w 技/w 术/w 研/w 究/w 所/w 在/w 多/w 年/w 研/w 究/w 基/w 础/w 上/w ,/w 耗/nx 时/nx 一/nx 年/nx 研/nx 制/nx 出/nx 了/nx ICTCLAS/nx解决: 字典没导入成功,/data/coreDict.dct改为src/main/resources/data/BigramDict.dct public SegTag(int segPathCount) { this.segPathCount = segPathCount; coreDict = new Dictionary("src/main/resources/data/coreDict.dct"); // System.out.println("SegTag Start"); bigramDict = new Dictionary("src/main/resources/data/BigramDict.dct"); }

ictclas4j调整

NULL 博文链接:https://summerbell.iteye.com/blog/1354546

使用ictclas4j进行中文分词

使用ictclas4j进行中文分词    ictclas4j是中科院计算所开发的中文分词工具ICTCLAS的Java版本,因其分词准确率较高,而备受青睐。   1、ictclas4j的下载及使用         1>先从http://ishare.iask.sina.com.cn/f/12821600.html下载ictclas4j的源码包ictclas4j.zip

michenggang_dami的专栏 6445

ictclas4j.rar_ictclas4j_ictclas4j data_www.tr4j.com_分词java_分词和标注

本代码用java实现了分词功能,包括分词和词性标注,里面有具体的说明文档,包括数据结构的设计,分词步骤,分词系统研究等。

ICTCLAS分词系统Java调用接口在Eclipse中的安装

ICTCLAS分词系统Java调用接口在Eclipse中的安装 实验环境:JDK1.5、Eclipse3.1、XP操作系统 分词系统Java接口解压包:d:/fenci(http://www.nlp.org.cn中查找下载) 导入步骤: 在Eclipse中新建Java项目,名称为:WordSpli,目录结构如下所示:  右击WordSplit项目,选择“导入”,将弹出导入窗口,选

淡泊明智 宁静志远 1万+

BUCK型DC/DC变换器的建模与仿真

BUCK型DC-DC变换器的建模与仿真摘要1 文献调研1.1 研究背景1.2 Buck电路的应用场合2 原理分析2.1 模型介绍2.2 模型分析2.3 频域和时域响应2.4 参数指标要求3 参数设计3.1 校正器选择3.2 校正器参数整定3.2.1 积分器3.2.2 一阶微分环节3.2.3 超前校正器3.3 改进4 结论与展望参考文献 摘要   目前工业自动化水平已成为衡量各行各业现代化水平的一个重要标志。如何对一个系统进行建模分析、补偿校正变得越来越重要。   本文选择BUCK型DC/DC变换器作为载体,

屠龙归来仍是少年 2万+

07. 基础实战篇 - STP的基本配置

STP(生成数协议)是一个用于在局域网中消除环路的协议,他的标准是IEEE802.1d。STP通过强制使部分冗余链路处于阻塞状态,其它链路处于转发状态,将环形网络结构修剪成无环路的树形网络结构。可实现消除环路,当处于转发状态的链路不可用时,STP重新配置网络,并激活合适的备用链路状态,恢复网络连通性。

weixin_39868387的博客 7224

中科院分词系统ICTCLAS50 (Linux)

1. 首先将需要用到的文件拷到相应目录下,包括: Data(文件夹) Configure.xml ICTCLAS50.h libICTCLAS50.a libICTCLAS50.so user.lic 2. 示例代码如下: #ifndef OS_LINUX #include #pragma comment(lib, "ICTCLAS50.lib") //ICTCLAS50.l

~菜鸟学飞~的专栏 2754

避开这些坑!医疗影像数据增强的6个安全操作指南(附PyTorch代码)

本文详细介绍了医疗影像数据增强的六大安全准则,包括解剖结构守恒、密度值物理意义保留和病灶特征保护等关键原则,并提供了PyTorch实战代码。通过具体案例和参数建议,帮助开发者在肺结节检测和MRI分割等医疗AI应用中实现安全有效的数据增强,避免因不当操作导致的诊断误差。

cola5的博客 555

ICTCLAS分词系统

ICTCLAS分词系统研究(一) ICTCLAS分词系统研究(二)--词典结构 ICTCLAS分词系统研究(三)--原子切分 2007年06月04日 ICTCLAS分词系统研究(十)--后记ictclas研究历程阅读全文>发表于 @ 2007年06月04日 14:25:00 | 评论( 7 ) | 举报| 收藏 ICTCLAS分词系统

yanyongshan的专栏 1075

SO逆向入门实战教程一:OASIS

文章目录一、前言二、准备三、Unidbg模拟执行四、ExAndroidNativeEmu 模拟执行五、算法分析六、尾声 一、前言 这是SO逆向入门实战教程的第一篇,总共会有十三篇,十三个实战。有以下几个注意点: 主打入门级的实战,适合有一定基础但缺少实战的朋友(了解JNI,也上过一些Native层逆向的课,但感觉实战匮乏,想要壮壮胆,入入门)。 侧重新工具、新思路、新方法的使用,算法分析的常见路子是Frida Hook + IDA ,在本系列中,会淡化Frida 的作用,采用Unidbg Hook + .

lilac的博客 2万+

人大金仓V8R3企业版License更新全攻略:从查看到重启一步到位

本文详细解析了人大金仓V8R3企业版License更新的完整运维流程,涵盖从诊断当前授权状态、获取与验证新文件、精准定位旧文件路径,到安全替换文件及服务重启验证的全过程。重点针对更新流程中常见的版本匹配、文件定位、权限与服务重启等关键环节提供了实战解决方案和避坑指南,帮助运维人员高效、平稳地完成授权续期。

redis7keeper的博客 895
上一篇: ICTCLAS分词系统研究(九)--对最终结果做优化调整
下一篇: BugFree缺陷管理工具新手入门
sinboy
博客等级 码龄25年 239粉丝 65原创
评论 6
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值