本文介绍了如何在Eclipse中使用Stanford Word Segmenter进行中文分词。首先下载软件包，然后创建项目，导入必要的jar包，编写并运行SegDemo.java。由于内存需求，需要设置VM arguments。通过关联源码深入理解分词建模的细节。对于中文版Eclipse，可以通过修改eclipse.ini使其显示英文界面以便更好地查看源码。
Stanford Word Segmenter是斯坦福大学NLP group研发的一套基于CRF的开源中文分词系统，采用CRF(Conditional Random Fields)算法。下面将下载Stangford Word Segmenter 软件包,在Eclipse上调试成功，并进一步分析源码。
1,下载 Stanford Word Segmenter软件包；
Download Stanford Word Segmenter version 2014-06-16
2，在eclipse上建立一个Project StanfordSegmenter。解压Stanford Word Segmenter软件包，将其中的data,arabic，test.sipe.utf8文件夹复制到项目下。
最低0.47元/天 解锁文章
扫一扫
2656
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
