Transformer 要占领地球了，大语言模型最全盘点！

随着最近半年 ChatGPT 火爆全球，基于 Transformer 架构的大语言模型（LLM）逐渐走入大众视野，可以说，Transformer 在AI 领域的影响力绝不亚于变形金刚在科幻领域的影响力。

Transformer 的核心思想是使用自注意力机制（Self-Attention Mechanism）来建立序列之间的依赖关系。就在2年前，很多模型主要还是基于长短期记忆（LSTM）和递归神经网络（RNN）的其他变体，而如今大语言模型都是基于 Transformer 的注意力机制。AI领域从传统机器学习，到神经网络，再到如今的 Transformer，正以井喷的势头快速发展。

人工智能发展方向

当下大语言模型市场百(xuè)花(yǔ)齐(xīng)放(fēng)，因此我们整理了一份可能是全网最全的大语言模型盘点，以期大家抓住 AIGC 的时代脉搏。

阅读和收藏本文，你将了解：

• 全球大语言模型发展脉络和族谱矩阵

• 谷歌、微软两大阵营大语言模型迭代历程

• 全球和国内主要大语言模型盘点

  全球大语言模型发展脉络  

下图展示了 2019 年以来百亿参数规模的大语言模型发布的时间线，其中标黄的大模型已开源。可以看到，2022 年至今新模型层出不穷，同时 OpenAI 和 Google 大模型迭代速度明显高于其他厂商。