随着最近半年 ChatGPT 火爆全球,基于 Transformer 架构的大语言模型(LLM)逐渐走入大众视野,可以说,Transformer 在AI 领域的影响力绝不亚于变形金刚在科幻领域的影响力。
Transformer 的核心思想是使用自注意力机制(Self-Attention Mechanism)来建立序列之间的依赖关系。就在2年前,很多模型主要还是基于长短期记忆(LSTM)和递归神经网络(RNN)的其他变体,而如今大语言模型都是基于 Transformer 的注意力机制。AI领域从传统机器学习,到神经网络,再到如今的 Transformer,正以井喷的势头快速发展。
人工智能发展方向
当下大语言模型市场百(xuè)花(yǔ)齐(xīng)放(fēng),因此我们整理了一份可能是全网最全的大语言模型盘点,以期大家抓住 AIGC 的时代脉搏。
阅读和收藏本文,你将了解:
-
全球大语言模型发展脉络和族谱矩阵
-
谷歌、微软两大阵营大语言模型迭代历程
-
全球和国内主要大语言模型盘点
全球大语言模型发展脉络
下图展示了 2019 年以来百亿参数规模的大语言模型发布的时间线,其中标黄的大模型已开源。可以看到,2022 年至今新模型层出不穷,同时 OpenAI 和 Google 大模型迭代速度明显高于其他厂商。