最新版xAI LLM 模型Grok-2 上线

原创

已于 2024-11-18 23:22:59 修改 · 1.1k 阅读

CC 4.0 BY-SA版权

文章标签：

于 2024-11-18 22:32:32 首次发布

xAI！Grok-2 最新版开启公测！”。这是我注册成功的截图，使用国内的邮箱就可以注册使用了！

xAI 尚未完全公开 Grok-2 模型的具体参数，但从目前已知信息来看，有以下一些与参数相关的特点：

模型架构：Grok 模型采用了混合专家（MoE）架构，这种架构通过将模型分解为多个子模型（专家），并在处理不同任务时激活相应的专家，从而实现了在保持模型性能的同时降低计算成本，而 Grok-2 作为其升级版本大概率也会沿用或优化该架构.
参数量与性能表现：虽然具体参数量未知，但从其性能表现可推测其参数量及架构设计的有效性。Grok-2 在多个基准测试中表现优异，如在 LMSYS 排行榜上，其 Elo 总评分超过了 Claude 和 GPT-4 早期版本，在编码、科学推理等任务上的表现接近甚至超过了 GPT-4o ，尤其是在 GPQA（研究生级科学知识问答）和 MATH（数学竞赛问题）这两个高难度领域，Grok-2 的准确率提高了 10%-20%.
训练数据与参数优化：Grok-2 支持多语言环境，尤其在中文和英文的处理上，具备非常强的跨语言转换能力，这得益于 xAI 广泛的数据集以及先进的多任务学习方法。在训练过程中，xAI 利用了大量的计算资源，采用了 10 万张 NVIDIA H100 GPU 进行模型训练，这种硬件资源的