Bloomberg：在亚马逊云构建和训练大语言模型的经验教训

最新推荐文章于 2025-09-05 00:15:00 发布

原创

最新推荐文章于 2025-09-05 00:15:00 发布 · 859 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#AWS

Bloomberg：在亚马逊云构建和训练大语言模型的经验教训

关键字: [Amazon Web Services re:Invent 2024，亚马逊云科技，生成式AI， Bloomberg GPT， Large Language Models， Model Training， Amazon Web Services Infrastructure， Data Management， Operational Challenges]

导读

对于任何希望构建能够带来投资回报的生成式AI能力的组织来说，安全高效的模型训练至关重要。作为金融服务领域AI/ML的领导者，Bloomberg分享了在亚马逊云科技上构建和训练大型语言模型——以及随后的小型语言模型——的经验教训。了解Bloomberg如何应对模型开发过程中的各种挑战，包括在大规模GPU节点网络中管理海量数据，并了解如何通过自动化和模板化基础设施、数据存储和传输路径，在保证数据安全的同时降低训练过程的错误率，帮助团队快速启动模型训练项目。

演讲精华

以下是小编为您整理的本次演讲的精华。

在尖端科技的领域中，2024年亚马逊云科技 re:Invent大会见证了一个关键时刻。在这里，全球领先的金融数据和见解提供商Bloomberg揭开了他们进军大型语言模型(LLM)世界的创新之旅。Bloomberg首席技术官办公室的基础设施主管Phil Rachan和Bloomberg人工智能工程团队的团队领导Vadim Gabriwaldsky在舞台上分享了他们在亚马逊云科技平台上构建和训练强大的Bloomberg GPTLLM的宝贵经验。

Bloomberg进军LLM的起源可以追溯到2020年，当时OpenAI发布了具有里程碑意义的论文“语言模型是少量学习者”，预示着1750亿参数的GPT-3模型的诞生。随着这项技术的出现，研究界开始认识到参数数量与模型性能质量之间的深刻关联，更多的训练数据和GPU小时可能会带来更优异的结果。

在Bloomberg，人工智能自2009年起就被用于