机器翻译重要过程(1)---数据预处理

       目前有如之前基于统计的开源翻译系统介绍中提到的许多开源统计翻译系统，在由原始平行语料到形成最后的翻译系统的整个过程中，它们有一些相同的处理步骤，从这次的文章开始，陆续介绍几个最重要的过程做法及其意义。

       一般在我们得到双语平行语料之后，在构建双语统计翻译系统之前，都会有一个双语数据预处理的过程，为后续例如词对齐处理提供分好词且格式恰当的双语数据。这里以汉英双语数据举例。

       在中英翻译系统构建过程中，对于中文和英文的数据预处理，方式是不一样的。

1）中文分词处理

      之前提到了，这一步可以使用中科院分词系统ICTCLAS完成，如果不使用这些附加工具的话，例如Niu