自回归、自编码语言模型在预训练模型中的应用

最新推荐文章于 2025-03-27 16:22:48 发布

原创

最新推荐文章于 2025-03-27 16:22:48 发布 · 1k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#nlp

本文综述了深度学习在自然语言处理中应用的词向量预训练模型，包括ELMO、GPT、BERT、XLNET等。探讨了自回归（AR）与自编码（AE）语言模型结合LSTM和Transformer特征提取器的方法，以及连续空间语言模型的发展。

关于语言模型(自回归AR和自编码AE)如何结合特征提取器（LSTM和Transformer）的词表征模型（词向量的预训练模型），如ELMO、GPT、BERT、XLNET等，论文An introduction of Deep Learning Based Word
Representation Applied to Natural Language
Processing做了完整的介绍。
以下介绍自己查阅资料中的一些资料推荐以及总结：

一、语言模型

语言模型用博客NLP: Explaining Neural Language Modeling，可以解释为The goal of a language model is to compute a probability of a sentence or a sequence of words.

语言模型可以分为Count-based language models以及Continuous-space language models，在Medium上的一篇文章对其进行了介绍Language Model: A Survey of the State-of-the-Art Technology
1、Count-based language models
统计语言模型中SLM最经典的