TensorFlow机器翻译之moses切词（附：ActivePerl安装）

使用moses切词

• 英文分词

Perl  ***.perl    (perl xxx.pl)

perl moses_tokenizer.perl -no-escape -l en < train.tags.en-zh.en> train.txt.en

因为tokenizer.perl中没有找到nonbreaking_prefixes.en。路径问题，我把tokenizer.perl位置给移动了

1、可以把train.tags.en-zh.en移动到tokenizer.perl同目录下，切分完成之后把结果和train.tags.en-zh.en再移动到对应文件下。