Stanford PTBTokenizer使用时所遇到的问题

根据网站https://nlp.stanford.edu/software/tokenizer.html所述，Stanford Tokenizer不是独立发布的，而是涵盖在一些software包中，例如Stanford Parser,  Stanford Part-of-Speech Tagger, Stanford Named Entity Recognizer 和 Stanford CoreNLP。本文选择Stanford Parser 进行下载。

进入下列网址中，选择包含PTBTokenizer的software。

https://nlp.stanford.edu/software/

目前下载到最新的Stanford-parser-full-2018-02-27。

由于下载的software包存放位置因人而异，所以在使用前需要set  CLASSPATH，以便找到stanford-parser.jar。打开terminal，输入

export CLASSPATH=~/xxx/xxx/stanford-parser.jar

stanford-parser.jar前面的路径指的是锁下载的software压缩包所在的路径。

（以桌面上comment文件夹中的comments.txt为例）然后输入

java edu.stanford.nlp.process.PTBTokenizer -preserveLines ~/Desktop/comment/comments.txt > ~/Desktop/comment/comments-token.txt