【AI大模型】羊驼大模型详解_大模型 羊驼

LLaMa系列模型

• 羊驼模型（鼻祖是LLaMa模型，Facebook公司开源模型）：即将成为大模型的安卓，国内95%的大模型都是羊驼套壳。
• GPT系列（OpenAI公司）：相当于大模型的iOS（不开源）。

LLaMa模型结构：前面的词预测后面的词，经典的解码结构。位置编码用的是旋转自编码。

大语言模型为什么取名为LLaMa（美洲鸵）？
LLM发音困难。两个LL跟绕口令一样挑战舌头。大家想给它加点原音，帮助发音。有人加了A，就是LLaMa。

1. LLaMa是2023年Meta发布的基础LLM模型，该模型有四个版本，分别是7B、13B、33B、65B参数的模型。（LLaMa模型是从零开始训练的基础模型，国内大多数模型都是套壳LLaMa模型）

2.模型的优点：

• 开源。相比之前的大模型，LLaMa完全是在公共开源预训练数据上训练（通用性比较强，没有使用封闭的数据）
• 推理效率也是LLaMa的一个亮点，可以在单卡V100完成推理（降低了硬件使用门槛，让大模型平民化，训练模型的成本大大降低）。

3.模型的训练和数据：
65B的模型使用2048块A100 80G的GPU，训练21天左右。（训练成本还是比较高的，训练的数据集同GPT一样）

LLaMa模型训练的数据集