stanford segmenter加入自定义用户词典

最新推荐文章于 2020-11-22 23:41:22 发布

dushenzhi

最新推荐文章于 2020-11-22 23:41:22 发布

阅读量9k

点赞数

CC 4.0 BY-SA版权

分类专栏：自然语言处理文章标签：分词 nlp

本文链接：https://blog.youkuaiyun.com/dushenzhi/article/details/8734173

自然语言处理专栏收录该内容

6 篇文章

订阅专栏

本文介绍如何使用Stanford Segmenter通过命令行方式对文本文件进行分词处理。具体步骤包括设置参数如输入输出文件路径、指定词典等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

用stanford segmenter在命令行的方式下对一个文本文件的句子进行分词处理,其中输入文件为：preprocess-$1.txt，输出文件为：$1_seged.txt，命令如下所示：

java -mx1g -cp seg.jar edu.stanford.nlp.ie.crf.CRFClassifier
     -sighanCorporaDict data
     -loadClassifier data/ctb.gz
     -testFile preprocess-$1.txt
     -inputEncoding UTF-8
     -sighanPostProcessing true
     -serDictionary data/dict-chris6.ser.gz,data/cedict.txt,data/ntusd.txt
     -keepAllWhitespaces false >$1_seged.txt

其中data/dict-chris6.ser.gz为自带的词典库压缩文件，data/cedict.txt,data/ntusd.txt为用户自定义的两个词典文件，词典文件的数据格式是每一行为一个词。