【自然语言处理】从词袋模型到Transformer家族的变迁之路

文章概述了自然语言处理技术的发展历程,从早期的词袋模型和TF-IDF,到词嵌入如Word2Vec,再到RNN、LSTM和Transformer的出现。重点讨论了Transformer家族,包括BERT、GPT和各种优化版模型,强调了预训练和注意力机制在现代NLP中的重要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

从词袋模型到Transformer家族的变迁之路

在这里插入图片描述

模型名称年份
描述
Bag of Words1954即 BOW 模型,计算文档中每个单词出现的次数,并将它们用作特征。
TF-IDF1972对 BOW 进行修正,使得稀有词得分高,常见词得分低。
Word2Vec2013每个词都映射到一个称为词嵌入的高维向量,捕获其语义。词嵌入是通过在大型语料库中寻找词相关性的神经网络来学习的。
RNN1986RNN 利用句子中词的上下文计算文档嵌入,这仅靠词嵌入是不可能的。后来发展为 LSTM1997)以捕获长期依赖关系,并演变为 Bidirectional RNN1997)以捕获从左到右和从右到左的依赖关系。最终,Encoder-Decoder RNNs2014)出现了,其中一个 RNN 创建文档嵌入(即编码器),另一个 RNN 将其解码为文本(即解码器)。
Transformer2017一种 编码器-解码器 模型,它利用注意力机制来计算更好的嵌入并更好地将输出与输入对齐。
BERT2018双向 Transformer,使用掩码语言建模(Masked Language Modeling)和下一句预测目标(Next Sentence Prediction objectives)的组合进行预训练。它使用全局注意力。
GPT2018第一个基于 Transformer 架构的自回归模型。后来演变成 GPT-22019),一个在 WebText 上预训练的更大和优化的 GPT 版本,以及 GPT-32020),一个更大和优化的 GPT-2 版本,在 Common Crawl 上预训练。
CTRL2019类似于 GPT,但具有用于条件文本生成的控制代码。
Transformer-XL2019一个自回归 Transformer,可以重用以前计算的隐藏状态来处理更长的上下文。
ALBERT2019BERT 的轻量级版本,其中:(1)下一句预测被句序预测取代;(2)参数减少技术用于降低内存消耗和加快训练速度。
RoBERTa2019BERT 的更好版本,其中:(1)Masked Language Modeling 目标是动态的;(2)Next Sentence Prediction 目标被删除;(3)使用 BPE tokenizer;(4)使用更好的超参数.
XLM2019Transformer 使用因果语言建模、掩码语言建模和翻译语言建模等目标在多种语言的语料库上进行了预训练。
XLNet2019Transformer-XL 具有广义自回归预训练方法,可以学习双向依赖性。
PEGASUS2019一个双向编码器和一个从左到右的解码器,使用掩码语言建模和间隙句子生成目标进行了预训练。
DistilBERT2019与 BERT 相同,但更小更快,同时保留 BERT 95% 以上的性能。通过预训练的 BERT 模型的蒸馏进行训练。
XLM-RoBERTa2019RoBERTa 在具有掩蔽语言建模目标的多语言语料库上进行训练。
BART2019一个双向编码器和一个从左到右的解码器,通过使用任意噪声函数破坏文本并学习模型来重建原始文本来训练。
ConvBERT2019BERT 的更好版本,其中自注意力模块被新模块取代,利用卷积更好地模拟全局和局部上下文。
Funnel Transformer2020一种 Transformer,它逐渐将隐藏状态的序列压缩到更短的状态,从而降低计算成本。
Reformer2020由于对局部敏感的哈希注意力、轴向位置编码和其他优化,一个更高效的 Transformer。
T52020一个双向编码器和一个从左到右的解码器,在无监督和监督任务的混合上进行了预训练。
Longformer2020一种将注意力矩阵替换为稀疏矩阵以提高训练效率的 Transformer 模型。
ProphetNet2020一种使用未来 N-gram 预测目标和新颖的自注意力机制训练的 Transformer 模型。
ELECTRA2020与 BERT 相同,但更轻更好。该模型使用 Replaced Token Detection 目标进行训练。
Switch Transformers2021一种稀疏激活的专家 Transformer 模型,旨在简化和改进专家混合模型。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

G皮T

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值