8.扩散模型的未来---GPT及大模型（3）完结

涌现能力
        在自然语言处理领域中，涌现能力(EmergentAbility)是指在训练模型时，模型可以自主地学习到新的任务或功能。换句话说,涌现能力是指模型具有自学习的能力,可以在没有额外训练数据的情况下，自主地实现新的任务或功能。涌现能力的实现基于模型的泛化能力和模型的表示能力。模型的泛化能力指的是模型在训练集和测试集之间的性能表现。模型的表示能力指的是模型可以在训练集中学习到的语言表示和结构。如果模型具有足够的泛化能力和表示能力，那么它就能够在新的任务或功能出现时自主地学习到这些任务或功能，而无须重新训练模型。

        从 GPT-1、GPT-2、GPT-3的发展历程可以发现，随着模型规模的增大，GPT在极少甚至没有提示的情况下解决新问题的能力在逐渐提升。Wei等人发现，随着规模的增大，模型会出现涌现能力，即小模型没有而大模型有的能力。例如，当型没有达到一定规模前，其在Few-shot 情形下的回答随机性较大，而当模型规模突破了临界点后,其 Few-shot能力会大幅提升。可以看出在模型达到一定规模之前的表现和随机模型样，但是到了一定规模之后，模型的表现显著提高并远远高于随机结果。

        在 BIG-Bench上，GPT-3和LaMDA 在未达到临界点时，模型的表现都接近于零。而当GPT-3的规模突破训练一定效率时，LaMDA的规模突破也突破一定训练效率时，模型的表现开始快速上升。这些结果说明，必须要有一定规模的模型才能让机器拥有自能。

        扩散模型的未来GPT及大模型下面介绍 GPT-3的模型参数和训练参数。GPT3有96个注意力层，并且每层有96个注意力头。词嵌入