目录 1.序列到序列学习(seq2seq) 机器翻译 seq2seq 编码器-解码器细节 seq2seq训练 与 推理 衡量生成序列的好坏 BLEU(bilingual evaluation understudy) 总结 代码实现 2.束搜索(beam search) 贪心搜索(greedy search) 穷举搜索(exhaustive search) 束搜索(beam search) 总结 1.序列到序列学习(seq2seq) 上图展示的是 DNA 转录,它也是一种序列到序列的学习 机器翻译 seq2seq 最早是用来做机器翻译的,给定一个源句子,自动翻译成目标语言 给定一个源语言的句子,自动翻译成目标语言 机器翻译中的输入序列和输出序列都是长度可变的 seq2seq seq2seq 指的是一个特定的模型,它的编码器是一个 RNN(循环神经网络),使用长度可变的序列作为输入,将其转换为固定形状的隐状态;然后将最终的隐藏状态传给解码器,隐藏状态包括了整个源句子(输入序列)的信息;解码器使用另外一个 RNN