具有惊人 480B 参数的开源企业级大型语言模型

Snowflake AI Research 推出了 Arctic，这是一款专为企业 AI 应用程序设计的尖端开源大型语言模型 （LLM），为成本效益和可访问性设定了新标准。该模型利用独特的 Dense-MoE 混合转换器架构来有效地处理 SQL 生成、编码和遵循指令。凭借其在较低计算预算下运行的能力，Arctic 为希望集成高级 AI 的企业提供了高性能解决方案，而无需通常涉及大量成本。

Snowflake Arctic 包括两种变体：

🐝 加入来自谷歌 + 英伟达 + Meta + 斯坦福大学 + 麻省理工学院 + Microsoft 和许多其他公司的研究人员阅读的增长最快的 AI 研究通讯…
北极基地
北极指示
这两种模型都托管在 Hugging Face 上，并且易于使用。北极基地为一般人工智能任务提供了坚实的基础，适合大多数企业需求。同时，Arctic Instruct 针对更具体的指令进行了优化，提供量身定制的性能增强，例如精确的命令响应和高级查询处理。这两个版本都具有高度的适应性和可扩展性，以满足不同的业务需求。

Arctic 的培训过程反映了效率的显着进步，利用的计算成本不到 200 万美元，只是通常所需成本的一小部分。这种效率是通过其创新的架构实现的，该架构将 10B 密集变压器与 128×3.66B MoE MLP 相结合，从而优化了成本和性能。Snowflake 的战略方法使 Arctic 能够提供顶级企业智能，同时在各种指标（包括编码、SQL 生成和指令跟踪）上保持竞争性能。

Snowf