一文看懂：本地运行迄今为止最大最出色的开源人工智能模型Llama 3.1

1.背景

2024 年，Meta 正式发布了其最新的开源模型 - Llama 3.1, 包含8B、70B 和 405B 三个尺寸，最大上下文提升到了 128k。

其中，405B 是其迄今最强大的模型，从评分上看，超过了 GPT-4 0125，和 Claude 3.5 不相上下。

Llama 3.1 使用了超过 15 T token 的公开数据进行训练，使用了超过 1.6 万个 H100 GPU。

其训练思路选择标准的仅解码器 transformer 模型架构进行调整，而不是混合专家模型，以最大化训练稳定性。采用了迭代的后训练程序，每一轮使用监督微调和直接偏好优化。

在后期训练中，Llama 通过进行多轮对齐来生成最终的聊天模型。每一轮都涉及到监督微调（SFT）、拒绝抽样（RS）和直接偏好优化（DPO）。使用合成数据生成绝大部分的 SFT 示例，多次迭代以生成质量更高的合成数据，覆盖所有能力。

趣闻：2024年7月22日下午，405B 的 Llama 疑似在 Hugging Face 被偷跑，并在 Twitter 上引起了一小波的轰动（但这个链接已经访问不到了）。更有好事者将其转化成了磁力链接，大概 800G 大小

2.第一步：安装 Ollama

Ollam