欢迎来到 Falcon 3 开放模型系列！

我们向您介绍 Falcon3，这是一个由阿布扎比技术创新研究所（TII）开发的、参数小于 100 亿的纯解码器大型语言模型系列。 Falcon3 是前几个版本的自然演进，强调扩展模型的科学、数学和代码能力。

Falcon3 是前几个版本的自然演进，强调扩展模型的科学、数学和代码能力。

这次迭代包括五个基本模型：

1. Falcon3-1B-Base
2. Falcon3-3B-Base
3. Falcon3-Mamba-7B-Base
4. Falcon3-7B-Base
5. Falcon3-10B-Base

在开发这些模型的过程中，我们采用了几项关键创新技术，旨在提高模型性能的同时降低训练成本：

• 对基于转换器的模型进行一次预训练： 我们对 7B 模型进行了一次大规模预训练，使用了 1024 个 H100 GPU 芯片，利用了 14 万亿个标记，包括网络、代码、STEM 以及高质量和多语言数据。
• 提升深度，改进推理： 基于最近对模型深度影响的研究，我们通过复制冗余层和继续使用 2 万亿个高质量数据进行预训练，将 7B 模型升级为 10B 参数模型。 这就