AIGC技术研究与应用 ---- 下一代人工智能：新范式！新生产力！（2.1-大模型发展历程 之 背景与开端）

---

按照目标不同， AI大模型可分为四类，多模态为未来方向

NLP 大模型

自然语言处理（Natural Language Processing，NLP）是用计算机来模拟、延伸及拓展人类语言能力
的理论、技术及方法，是融合语言学、计算机科学、数学等于一体的综合性学科。自然语言处理目前面临的关键问题是人类语言的复杂性和多样性，例如同样的词汇在不同的语境之下意思不完全一致、日常用语中的反讽等反向情感表达、句式结构的多变和缺失所引发的歧义以及方言和“行话”等语言个
性化特点。

近十年来，深度学习成为NLP模型研发的主流技术框架，带来了巨大的进步，但仍然受限于对大量有
标注数据的依赖，模型泛化性、通用性仍有不足。近几年，随着预训练技术的发展、算力提升以及NLP领域的海量数据和任务特性，大规模预训练模型首先在该领域取得突破。

2018年，随着BERT的诞生，大规模预训练语言模型，利用海量的无标注文本自监督学习，即可深入掌握大量语言知识，刷新多个AI权威榜单记录。

3亿参数的BERT模型在权威通用语言理解类评测榜单GLUE上的11个任务刷新纪录，将基准值推至80.4%，绝对提升了7.6个点，在机器阅读理解顶级水平测试SQuAD1.1的全部两个衡量指标上超越人类平均水平。