weixin_42164041的博客

自然语言句子的双向多视角匹配 INTRODUCTION 自然语言句子匹配（NLSM）是指对两个句子比较，确定他们的关系，可以完成释义识别，判断两个是否有释义；对于自然语言推理任务，用来判断假设句是否可以从前提句中推断出来；对于问答和信息检索任务，用于评估问答对之间的相关性；对于机器理解任务，用于匹配文章与问题。 目前有两种用于NLSM的深度学习框架，第一种是基于“孪生”结构，将同一个神经编码器分别应用于两个输入句子，使这两个句子都被编码到同一个嵌入空间的句子向量中，然后基于这两个句子向量进行匹配。这个框架的

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding论文学习 INTRODUCTION 在nlp领域，语言模型的预训练可以提高下游模型表现，主要有两个类型： 1.基于特征的，例如ELMO：用做任务的模型来学习提前预训练好的 ...

Attention is all you need论文学习笔记 看了Bert的论文，由于基础知识薄弱，且bert本质还是transformer，之前没有接触过所以不太懂，于是看了这篇论文了解一下transformer。 参考：https://cloud.tencent.com/developer/article/1377062 1.背景知识： attention transformer完全利用at...