WUTab的博客

语言模型是干嘛的？语言模型可以计算任何句子的概率。例如，“I love you”的概率是多少？用数学语言表述，NN元语言模型(NN-gram model)根据一个词语的前N−1N-1个词语，来计算这个词语的概率。如果我们有了一个2元模型，“I love you”的概率就等于P(I)×P(love|I)×P(you|love)P(I)\times P(love|I)\times P(you|love)

Gale和Church在1993年提出了一个基于长度进行句对齐的算法，并在附录里公开了C源代码。这篇论文相当经典，以至于之后的关于句对齐的论文大多数要引用它。论文的题目是《 A Program for Aligning Sentences in Bilingual Corpora》。论文并不好懂，主要是因为其中的术语和目标没有给出清晰的定义。这篇博客就是要解读一下这篇论文，顺便解读一个Python实

4 对数线性语言模型 本节讨论另一种语言模型：对数线性语言模型。它的计算方法跟上面提到的基于计数的语言模型很不同。 4.1 模型公式化 对数线性语言模型也是计算给定前几个词的条件下下一个词的条件概率，但是方法不一样，基本分为以下几步： 计算特征：对数线性语言模型围绕特征这个概念。特征是“上下文中某个对预测下一个词有用的东西”。更精确地，我们定义一个特征函

这是2015年的一篇会议论文，作者是Dmitry Bandana，KyungHyun Cho，Yoshua Bengio。本文最重要的贡献就是提出了attention机制。下面我先总结每段的要点，然后适当添加自己的解读。 ABSTRACT 神经机器翻译（NMT）里，别人大多用encoder-decoder，我们推测把原句编码到一个固定长度的向量是一个瓶颈，然后我们提出了改进。 1

这是CMU的助理教授Graham Neubig的一篇tutorial的翻译，原文来自Neural Machine Translation and Sequence-to-sequence Models: A Tutorial。本文只取其中重要部分，略掉习题和高级领域。 2 统计机器翻译 任何翻译系统都可以定义成一个函数，输入是原句，输出是一个翻译假设。统计机器翻译系统是用给定原句下译句