统计翻译

中文语料预处理

1.由于数字、日期、时间、网址等采用正则表达式,用特殊名字泛化。

类型	转化	例子
数字类型	$number	如：321
日期类型	$date	如：1995年 2 月 3 日
时间类型	$time	如：3:13
网址等类型	$literal	如：www.youkuaiyun.com

2.不要对组织机构名进行捆绑为一个词汇。例如将“东北大学信息学院”最好分成两个词“东北大学”“信息学院”。这样做的好处是为了有助于后面规则抽取模块抽取出更多翻译规则。

英文语料预处理

1.将所有大写字母改为小写字母；
2.将英文句尾结束符与句尾最后一个单词用空格分开；
3.同样将数字、日期、时间、网址等不可枚举的类型进行识别，然后分别采用特殊名字进行泛化处理。

平行语料对照

中文：4 月 14 日我买了 10 本书。
英文：I bought 10 books on April 14.
预处理结果：
中文：$date 我 买 了 $number 本 书 。
英文：i bought $number books on $date .

其他说明:
1） 中文的全角字符可以考虑改写为半角字符来处理；
2） 同一类型的泛化名字在中英文中最好一样，如中文/英文数字=>$number；
3） 也可以采用 CRF 或者语言模型来实现高性能中文分词；
4） 注意区分英文的句尾符号“.”和“Mr. Smith”的“.”；

2.词对齐

giza

3.短语对齐

参考文献:
读书笔记