发呆的比目鱼的博客

DIET: Lightweight Language Understanding for Dialogue SystemsAbstract大规模的预训练语言模型在像GLUE和Super- GLUE这样的语言理解基准上显示出了令人印象深刻的结果，比其他预训练方法如分布式表示(GloVe)和纯监督方法提高了很多。我们引入了双层意图和实体Transformer(DIET)体系结构，并研究了不同的预训练表征在意图和实体预测这两个常见对话语言理解任务上的有效性。...

BERT和GPT等大型预训练模型近年来取得了巨大的成功，成为人工智能领域的一个里程碑。基于复杂的训练目标和庞大的模型参数，大规模的PTMs可以有效地从大量标注和未标注的数据中获取知识。通过将知识存储到巨大的参数中，并对特定的任务进行微调，在巨大的参数中隐含的丰富知识可以使下游的各种任务受益，这已被实验验证和实证分析广泛证明。本文主要讨论了PTMs四个重要方向:设计有效的架构，利用丰富的上下文，提高计算效率，以及理论解释分析。早期模型预训练的早期主要涉及迁移学习。迁移学习的研究很大程度上是由人依靠学到的.

Bidirectional LSTM-CRF Models for Sequence TaggingPaper:https://arxiv.org/pdf/1508.01991摘要在本文中，我们提出了各种基于长短记忆（LSTM）的序列标记模型。这些模型包括LSTM网络、双向LSTM (BI-LSTM)网络、LSTM带条件随机场(CRF)层(LSTM-CRF)和双向LSTM带CRF层(BI-LSTM-CRF)。我们的工作是第一个将双向LSTM CRF（表示为Bi-LSTM-CRF）模型应用于NLP基准序