大模型综述来了！一文带你理清全球AI巨头的大模型进化史

本文链接：https://blog.youkuaiyun.com/m0_74914256/article/details/141228605

如果自己是一个大模型的小白，第一眼看到 GPT、PaLm、LLaMA 这些单词的怪异组合会作何感想？假如再往深里入门，又看到 BERT、BART、RoBERTa、ELMo 这些奇奇怪怪的词一个接一个蹦出来，不知道作为小白的自己心里会不会抓狂？

哪怕是一个久居 NLP 这个小圈子的老鸟，伴随着大模型这爆炸般的发展速度，可能恍惚一下也会跟不上这追新打快日新月异的大模型到底是何门何派用的哪套武功。这个时候可能就需要请出一篇大模型综述来帮忙了！这篇由亚马逊、得克萨斯农工大学与莱斯大学的研究者推出的大模型综述《Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond》，为我们以构建一颗“家谱树”的方式梳理了以 ChatGPT 为代表的大模型的前世今生与未来，并且从任务出发，为我们搭建了非常全面的大模型实用指南，为我们介绍了大模型在不同任务中的优缺点，最后还指出了大模型目前的风险与挑战。

前排提示，文末有大模型AGI-优快云独家资料包哦！

论文题目：

Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond

论文链接：

https://arxiv.org/pdf/2304.13712.pdf

项目主页：

https://github.com/Mooler0410/LLMsPracticalGuide

大模型研究测试传送门

ChatGPT传送门（免墙，可直接测试）：

https://yeschat.cn

GPT-4传送门（免墙，可直接测试，遇浏览器警告点高级/继续访问即可）：

https://gpt4test.com

家谱树——大模型的前世今生

追寻大模型的“万恶之源”，大抵应该从那篇《Attention is All You Need》开始，基于这篇由谷歌机器翻译团队提出的由多组 Encoder、Decoder 构成的机器翻译模型 Transformer 开始，大模型的发展大致走上了两条路，一条路是舍弃 Decoder 部分，仅仅使用 Encoder 作为编码器的预训练模型，其最出名的代表就是 Bert 家族。这些模型开始尝试“无监督预训练”的方式来更好的利用相较其他数据而言更容易获得的大规模的自然语言数据，而“无监督”的方式就是 Masked Language Model（MLM），通过让 Mask 掉句子中的部分单词，让模型去学习使用上下文去预测被 Mask 掉的单词的能力。在 Bert 问世之处，在 NLP 领域也算是一颗炸弹，同时在许多自然语言处理的常见任务如情感分析、命名实体识别等中都刷到了 SOTA，Bert 家族的出色代表除了谷歌提出的 Bert 、ALBert之外，还有百度的 ERNIE、Meta 的 RoBERTa、微软的 DeBERTa等等。