9、可堆叠的深度学习：Transformer的强大力量

可堆叠的深度学习：Transformer的强大力量

1. Transformer的变革影响

Transformer正在改变世界，它为人工智能带来的智能提升正在重塑文化、社会和经济。它让我们首次开始质疑人类智能和创造力的长期经济价值，其影响远不止于经济领域，还改变了我们的工作、娱乐方式，甚至思维、交流和创造的方式。在不到一年的时间里，基于Transformer的大型语言模型（LLM）创造了全新的工作类别，如提示工程、实时内容策划和事实核查。科技公司竞相招聘能够设计有效LLM提示并将其融入工作流程的工程师。

许多实际应用都证明了Transformer的强大。例如，Replika使用GPT - 3生成超过20%的回复；Qary使用BERT生成开放领域的问题答案；Google使用基于BERT的模型改进搜索结果和查询知识图谱；nboost使用Transformer为ElasticSearch创建语义搜索代理；aidungeon.io使用GPT - 3生成无尽的房间场景。大多数用于语义搜索的向量数据库也依赖于Transformer。

2. 递归与循环：Transformer的独特特性

2.1 递归与循环的区别

Transformer是自回归自然语言处理（NLP）模型的重大进步。自回归模型一次预测一个离散输出值，通常是自然语言文本中的一个标记或单词。自回归器会将输出循环利用，作为预测下一个输出的输入，因此自回归神经网络是递归的。与循环神经网络（RNN）不同，Transformer是递归而非循环的。RNN中的单个神经元会将其输出循环回同一神经元的输入，而Transformer直到最后一层才输出可以循环回输入的标记嵌入。整个Transformer网络