clear--优快云博客

原创一个基于Tensorflow的神经网络机器翻译系统

一个基于Tensorflow的神经网络机器翻译系统Github地址：https://github.com/zhaocq-nlp/NJUNMT-tf系统完全基于Tensorflow最基本的array_ops，math_ops, nn_ops实现。实现了： 1. sequence-to-sequence model 2. transformer 3. model ensemble

2018-01-16 21:52:45 3943

原创神经网络机器翻译Neural Machine Translation(2): Attention Mechanism

端到端的神经网络机器翻译（End-to-End Neural Machine Translation）是近几年兴起的一种全新的机器翻译方法。前篇NMT介绍的基本RNN Encoder-Decoder结构，RNNenc将源语言句子压缩成一个固定维度的向量是造成性能瓶颈的主要原因。为此，Bengio研究组提出基于注意力（Attention）的NMT，能较好的缓解这一问题并且能更好地处理长距离依赖。本文将

2016-04-04 18:48:13 26077 2

原创神经网络机器翻译Neural Machine Translation(1): Encoder-Decoder Architecture

端到端的神经网络机器翻译（End-to-End Neural Machine Translation）是近几年兴起的一种全新的机器翻译方法。本文首先将简要介绍传统的统计机器翻译方法以及神经网络在机器翻译中的应用，然后介绍NMT中基本的“编码-解码”框架（Encoder-Decoder）。转载请注明出处：http://blog.youkuaiyun.com/u011414416/article/details/

2016-04-03 09:35:40 28332

原创神经网络机器翻译Neural Machine Translation(5): Gradient-based Optimization Algorithms

本文将介绍近两年应用到端到端的神经网络模型中的一些优化方法。转载请注明出处：http://blog.youkuaiyun.com/u011414416/article/details/51567362本文将介绍近两年应用到端到端的神经网络模型中的一些参数优化方法，包括SGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam等。本文全文参考自博客：http://sebasti

2016-06-02 15:18:08 2837

原创神经网络机器翻译Neural Machine Translation(4): Modeling Coverage & MRT

端到端的神经网络机器翻译（End-to-End Neural Machine Translation）是近几年兴起的一种全新的机器翻译方法。前面介绍了NMT的基本RNN Encoder-Decoder结构以及Attention Mechanism。研究这展开了一系列的工作转载请注明出处：http://blog.youkuaiyun.com/u011414416/article/details/51567254

2016-06-02 15:05:49 4745 1

原创从NN到RNN再到LSTM(4): Gated Recurrent Units

本文将简要介绍GRU的相关知识。转载请注明出处：http://blog.youkuaiyun.com/u011414416/article/details/51433875本文参考的文章有： Kyunghyun Cho, Bart van Merrenboer, Caglar Gulcehre Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yos

2016-05-17 10:07:34 4807 4

原创 Gaussian LDA(2): Gaussian LDA简介

Latent Dirichlet Allocation (LDA)是一个主题模型，能够对文本进行建模，得到文档的主题分布。但是LDA得到的每个主题是一个在词项上的多项分布，这个分布非常稀疏。为了更好地刻画语义连贯性，有研究者提出了Gaussian LDA，本文简单介绍该模型。转载请注明出处：http://blog.youkuaiyun.com/u011414416/article/details/511884

2016-04-29 11:03:46 5277 2

原创 Gaussian LDA(1): LDA回顾以及变分EM

Latent Dirichlet Allocation (LDA)是一个主题模型，能够对文本进行建模，得到文档的主题分布。常用的模型参数估计方法有Gibbs Sampling和Variational Inference，网上有非常多关于LDA的介绍，最为经典的例如Rickjin的《LDA数学八卦》。本文旨在推导变分EM的全部过程。转载请注明出处：http://blog.youkuaiyun.com/u0114

2016-04-16 15:23:48 7580 3

原创神经网络机器翻译Neural Machine Translation(3): Achieving Open Vocabulary Neural MT

端到端的神经网络机器翻译（End-to-End Neural Machine Translation）是近几年兴起的一种全新的机器翻译方法。前面介绍了NMT的基本RNN Encoder-Decoder结构以及Attention Mechanism。但是经典的Encoder-Decoder结构存在一个明显的问题，就是源端与目标端都使用固定大小的词典，OOV词通常用一个UNK表示，如果目标端词典太大则会

2016-04-09 22:53:44 5346

原创从NN到RNN再到LSTM(3): 长短时记忆LSTM简介及计算

本文将简要介绍RNN存在的梯度消失和梯度爆炸问题，然后介绍长短时记忆（Long Short-Term memory，LSTM）的相关公式及推导过程。转载请注明出处：http://blog.youkuaiyun.com/u011414416/article/details/46724699以下内容主要引自Alex Graves写的Supervised Sequence Labelling with Recurr

2015-07-02 11:48:21 12888 9

原创从NN到RNN再到LSTM(2): 循环神经网络RNN简介及计算

本文将简要介绍循环神经网络（Recurrent Neural Network，RNN），以及RNN的前向计算和误差反向传播过程。转载请注明出处：http://blog.youkuaiyun.com/u011414416/article/details/46709965以下内容主要引自Alex Graves写的Supervised Sequence Labelling with Recurrent Neural

2015-07-01 14:28:55 8107 1