liuy9803的博客

https://www.researchgate.net/publication/326621822_Bilingual_Expert_Can_Find_Translation_Errors“双语专家”可以发现翻译错误Github：https://github.com/lovecambi/qebrainAbstract...

https://www.aclweb.org/anthology/P19-1292.pdf一个简单有效的迁移学习自动后编辑方法Github：https://github.com/deep-spin/OpenNMT-APE

Log-linear Combinations of Monolingual and Bilingual Neural Machine Translation Models for Automatic Post-Editinghttps://arxiv.org/pdf/1605.04800.pdf本文介绍了AMU (Adam Mickiewicz University) 团队提交的 WMT 2016 自动后编辑 APE 任务，探索神经翻译模型在 APE 中的应用，使用不同的模型作为对数线性.

https://www.aclweb.org/anthology/Q17-1015.pdf挑战翻译质量评估的极限Github：https://github.com/Unbabel/OpenKiwi翻译质量评估可以极大减少后编辑工作，本文使用单词级质量评估和自动后编辑之间的协同，将一个新模型堆叠到具有丰富特征的单词级质量评估系统中，使用自动后编辑系统的输出作为一个额外的功能，取得了非常好的效果，在 WMT16 单词级 F1^MULT 为57.47%（比 sota 增加了7.95%），句子级 .

https://www.aclweb.org/anthology/W17-4763.pdf使用多任务学习与堆栈传播的质量估计方法Predictor-EstimatorGithub：https://github.com/Unbabel/OpenKiwi两段神经网络 QE 模型，多任务学习估计句子、单词和短语的翻译质量，基于端到端的堆叠神经模型 Predictor-Estimator，训练时使用 stack propagation，可以在单一模式下联合训练单词预测模型和 QE 模型。Pr..

QUETCHQUality Estimation from scraTCHhttp://www.statmt.org/wmt15/pdf/WMT37.pdf模型输入：对于 MT 中的每个单词，围绕该单词固定大小的窗口，与源句中对齐单词的窗口相连接，得到该目标单词的双语上下文向量。模型结构：单隐层 MLP，lookup 得到词向量（训练中更新），激活函数为 tanh。模型输出：softmax 计算每个单词的 OK/BAD 的概率，该模型单独训练以预测源句标签、gap 标签和目标标签。

https://arxiv.org/pdf/1902.08646.pdfOpenKiwi：一个用于质量评估的开源框架Github：https://github.com/Unbabel/OpenKiwiOpenKiwi 是一个用于翻译质量评估的开源 Pytorch 框架，支持单词级和句子级质量评估系统的训练和测试，实现了 WMT 2015-18 中一些获奖的质量评估系统。使用 WM...

https://arxiv.org/pdf/1910.02688.pdf机器翻译的自动测试和改进Github：https://github.com/zysszy/TransRepair（无代码）本文提出一种测试和修复机器翻译系统一致性的自动方法——TransRepair，在没有标准翻译的情况下，结合 metamorphic testing 蜕变测试的 mutation 变化检测不...

https://arxiv.org/pdf/1907.08710.pdf机器翻译的结构不变测试Github：https://github.com/PinjiaHe/StructureInvariantTesting神经机器翻译 NMT 模型的复杂性和难解性使得它们远远不够健壮，这个问题也没有得到充分的研究。因此作者引入 structure-invariant testing 结构...

https://arxiv.org/pdf/1804.08771v1.pdfGithub：https://github.com/awslabs/sockeye/tree/master/contrib/sacrebleu由于在不同的环境下经常产生新的测试集，机器翻译领域面临着新的挑战，而且在如何进行度量评价方面缺乏共识。常用的 BLEU score 会随着 parameterizati...

https://arxiv.org/pdf/2004.10361.pdf通过引用透明性测试机器翻译Github：https://github.com/ReferentialTransparency/RTI（无代码）由于神经网络的复杂性和难解性，现代机器翻译软件还远远不够健壮，因此作者引入一种简单而广泛用于验证机器翻译软件的方法 referentially transparent ...

https://arxiv.org/pdf/2004.09205.pdf多语言BERT中跨语言能力和语言特定信息的研究（未开源）Multilingual BERT (m-BERT Devlin et al., 2019) 在跨语言迁移任务中表现很好，优于静态非上下文词嵌入。比较相同数据的非上下文和上下文模型的跨语言性能，发现影响迁移性的关键因素是数据集和上下文窗口大小。观察多语 BE...

https://arxiv.org/pdf/1907.04907.pdf嵌入空间中的主题建模Github：https://github.com/adjidieng/ETM

https://arxiv.org/pdf/2003.13205.pdf学习文档级神经机器翻译的上下文句子表征（未开源）

https://arxiv.org/pdf/2004.01655.pdf对齐交叉熵的非自回归机器翻译（未开源）非自回归机器翻译模型对整个目标序列进行并行预测，极大地提高了解码速度。然而由于模型中缺少自回归因子，难以对词序建模，且交叉熵损失会严重影响词序的微小变化，因此作者提出使用 aligned cross entropy 对齐交叉熵 AXE 作为非自回归模型的损失函数，AXE 使用...

https://arxiv.org/pdf/2004.03137.pdf带有间接监督的无监督神经机器翻译（未开源）

Relevance of Unsupervised Metrics in Task-Oriented Dialogue for Evaluating Natural Language Generationhttps://arxiv.org/pdf/1706.09799.pdf实现地址：https://github.com/Maluuba/nlg-eval...

Transformer++https://arxiv.org/pdf/2003.04974.pdf

Improving Reliability of Latent Dirichlet Allocation by Assessing Its Stability Using Clustering Techniques on Replicated Runshttps://arxiv.org/pdf/2003.04980.pdf实现地址：https://github.com/JonasRiege...

https://arxiv.org/pdf/1709.07432.pdf神经序列模型的动态评估方法实现地址：https://github.com/benkrause/dynamic-evaluation作者提出一种使用动态评价改进神经序列模型的方法，模型使用梯度下降来适应最近的序列，从而使它们为再次发生的序列模式 patterns 分配更高的概率。动态评估将 Penn Treeb...

Capturing document context inside sentence-level neural machine translation models with self-traininghttps://arxiv.org/pdf/2003.05259.pdf（未开源）句子级NMT已经接近人类水平，但是通过翻译单个句子来翻译文档会导致有歧义但语法上有效的文本。而文档级...

https://arxiv.org/pdf/2002.12530.pdf代码：https://github.com/haohy/TCAN用于序列建模的基于注意力的时序卷积网络作者提出一种时序卷积注意力网络 Temporal Convolutional Attention-based Netword（TCAN），包括两部分：Temporal Attention（TA）捕捉序列内部的...

https://openreview.net/pdf?id=Hyl7ygStwB将BERT引入机器翻译代码：https://github.com/bert-nmt/bert-nmtBERT在文本分类、阅读理解等多种NLP任务上都显示出了强大的能力。然而，如何将BERT有效应用于NMT还缺乏足够的探索。作者提出了 BERT-fused model，首先使用BERT提取输入序列的表征...

https://arxiv.org/pdf/1611.00179.pdf用于机器翻译的双重学习Github：https://github.com/microsoft/DualLearning https://github.com/yistLin/pytorch-dual-learning论文提出一种双重学习机制，可以从无标记的数据中自动学习，解决了人工标记...

用于序列生成的推敲网络（未开源）http://papers.nips.cc/paper/6775-deliberation-networks-sequence-generation-beyond-one-pass-decoding.pdf传统的Encoder-Decoder框架在解码和生成序列的过程中只采用一次（one-pass）正向传播过程，缺乏推敲（deliberation）的过...

Windows环境首先安装Cygwin https://cygwin.com/install.htmlCygwin能在Windows环境下模拟UNIX/Linux环境编程，比安装虚拟机节省储存空间。下载-选联网安装-下载网址选阿里云镜像 http://mirrors.aliyun.com/cygwin - 安装binutils, gcc, gcc-mingw, gdb, make, per...

https://arxiv.org/pdf/1909.10666.pdf基于检索的聊天机器人的多轮响应选择的三重注意力网络Github：https://github.com/wtma/TripleNet论文贡献：使用triple attention来建模三元输入<context、query、response>，而不是传统的<context、response&g...

https://arxiv.org/abs/2002.07982充分利用上下文的NMTGithub（无代码 只有介绍）：https://github.com/Blickwinkel1107/Toward-Making-the-Most-of-Context-in-Neural-Machine-Translation论文提出了一个文档级NMT框架，对每个句子的本地上下文、源语言和目...

https://arxiv.org/abs/2002.12558NMT的未来成本建模（未开源）根据当前生成的目标词及其上下文信息，对未来的时间相关成本进行估计，以促进NMT模型的训练。在当前的时间步长的学习的未来上下文表示被用来帮助在解码中生成下一个目标词。利用预先习得的翻译知识（即，翻译模型和语言模型）来预先计算一个源句中任意跨度的输入词的未来成本。计算出的未来成本估计了翻译源...

https://arxiv.org/abs/2002.12549加入对抗训练的鲁棒的无监督NMT（未开源）以前的工作只关注如何在干净的数据上建立sota UNMT，而在真实的场景中，输入语句中常常存在小的噪声。模型对输入中的微小扰动很敏感，会导致各种误差。首先定义两种类型的噪声，即单词噪声和词序噪声。研究UNMT和SNMT在这种嘈杂场景下的性能，结果表明UNMT模型的性能优于SN...

一、词向量自上世纪90年代开始，特征空间模型就应用于分布式语言理解中，在当时许多模型用连续性的表征来表示词语，包括潜在语义分析LSA、隐含狄利克雷分布LDA主题模型。Bengio et al.在2003年首先提出了词向量的概念，当时是将其与语言模型的参数一并训练得到的。Collobert和Weston则第一次正式使用预训练的词向量，不仅将词向量方法作为处理下游任务的有效工具，还引入了神经网络模...

一图了解从 Seq2Seq，Attention，Transformer 到 ELMo，BERT，GPT-2 的发展过程。一、Seq2SeqSeq2Seq全称Sequence to Sequence，结构为RNN Encoder-Decoder，Encoder将变长源序列映射为定长向量，Decoder将该向量映射回变长目标序列。论文《Learning Phrase Represen...

五、ELMo论文《Deep contextualized word representations》认为，高质量的词表征应该包含丰富的句法和语义信息，并且能够对多义词进行建模（传统的词向量如word2vec是上下文无关的）。ELMo 分为两个阶段：在大型语料库上预训练一个深度双向语言模型 biLM，然后将LM各层作为新特征补充到下游任务中。这个LM是预训练过的双向耦合 coupled LSTM...