Raina_qing的博客

文章目录Transformer结构0. RNN的缺点1. 整体结构域2. Encoder部分2.1. multi-head-Attention层2.1.1 插入讲解self-attention2.1.2. 回到多头2.2. 全连接层3. Decoder部分4. Generator部分5. Positional Encoding参考文献：Transformer结构与Bert论文相关，Bert中也插入了相关连接。0. RNN的缺点RNN相关算法只能从左向右依次计算或者从右向左依次计算，这种机制带来了两

BERT（Bidirectional Encoder Representation from Transformers)文章参考了比较多博客，直接想了解bert的，可以直接看 2.Bert细则文章目录BERT（Bidirectional Encoder Representation from Transformers)1. word2vec，ELMo，BERT亮点与区别1.1 发展史word2vec——>ELMoELMo——>BERT1.2. Elmo优点不足1.3. Bert特点1.4.

Overview of Fingerprinting Methods for Local Text Reuse Detection摘要在简要介绍了主要的文本重用检测方法之后，我们从信息检索的角度介绍了指纹算法的一般原理。 调查了三类指纹方法（overlap, non-overlap, and randomized）。 描述了特定的算法，例如k-gram, winnowing, hailstorm, DCT and hash-breaking。 这些算法的性能和特点基于文献数据进行了总结。关键字：信息检

复旦大学邱锡鹏教授：NLP预训练模型综述文章目录01 引言02 背景2.1 语言表示学习2.2 神经上下文编码器2.3 为什么要预训练？2.4 NLP的预训练任务的简单历史2.4.1 第一代预训练：预训练词嵌入2.4.2 第二代预训练：预训练上下文编码器03 PTMs概述3.1 预训练任务3.1.1 语言模型 (LM)3.1.2 掩码语言建模 Masked Language Modeling (MLM)Sequence-to-Sequence MLM (Seq2Seq MLM)增强的屏蔽语言建模 Enha

A Brief Introduction to Statistical Shape Analysis点击下载论文全文Contents1 Introduction 22 Shapes and Landmarks 23 Shape Alignment 33.1 The Procrustes Shape Distance . . . . . . . . . . . . . . . . ...

论文地址：https://aclweb.org/anthology/D16-1087 ，发表在了 EMNLP摘要：在本文中，我们提出了一种方法，在给定相关领域中具有相似（但不完全相同）的命名实体（NE）类型和少量域内训练数据的训练数据的情况下，我们使用迁移学习来学习特定域的NE模型。本文新颖之处在于不仅假设域不匹配，而且还假设标签不匹配。1、介绍如果我们只有有限的训练数据，我们...

论文地址https://arxiv.org/abs/1703.06345论文中的项目代码地址https://github.com/kimiyoung/transfer本文探讨了神经序列标记器的转移学习问题，其中使用具有丰富注释的源任务（例如，Penn Treebank上的POS标记）来改善具有较少可用注释的目标任务的性能（例如，POS标记为微博）。1、介绍有没有办法通过共享模型...