本文探讨了NLP中的关键进展，包括基础语言理解、word2vec模型的历史地位，以及Transformer驱动的预训练语言模型（PLMs）如GPT-3的兴起。特别提到MaskedLM（MLM）技术和Pipeline接口在实际应用中的作用，以及tokenization的重要性。
大纲
语言模型：
- NLP任务中最基本和重要的一部分
- 包括大量的语言理解知识，比如语法，句法
- 只需要纯文本的信息就可以训练，不需要人工标注
word2vec是第一个预训练语言模型，目前，基于 Transformers 的PLMs更普遍
GPT PLM
MLM（masked LM）
GPT-3
Pipeline接口，已经训练好的模型
Tokenization
大模型学习4——预训练语言模型
扫一扫
评论 1
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
