优化GPU和CPU利用率以节省成本并提高性能

优化GPU和CPU利用率以节省成本并提高性能

关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， Core Mark， Optimize Gpu， Optimize Cpu， Measure Efficiency， Drive Behaviors， Maximize Utilization]

导读

在当今的云环境中，高效利用计算资源对于管理成本至关重要，尤其是在涉及GPU和高性能CPU等高成本实例时。在本次会议中，我们将探讨Capital One如何与亚马逊云科技和芯片制造商合作，开发了一套全面的方法来监控、基准测试和优化其云基础设施中的GPU和CPU使用情况。本次演讲由亚马逊云科技合作伙伴Capital One为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华。

在亚马逊云科技 re:Invent 2024的闭幕致辞中，来自Capital One的Jersey和Brentz向观众发表了演讲。他们领导着Capital One的FinOps组织，专注于推动整个公司14，000名技术人员的效率和成本节约。他们开场时幽默地将赌场使用的策略(如繁忙的地毯图案和潜意识信息)与亚马逊云科技提供的功能进行了对比，前者旨在让客人保持参与并花费更多金钱，而后者则是为了促进客户成功而非推动支出。不过，他们承认亚马逊云科技提供的新服务数量庞大，可能会让用户感到不知所措。

Jersey和Brentz的团队构建工具来协助工程师做出高效的选择并采取行动来优化成本。这涉及分析利用率数据并提供丰富的上下文建议，同时最终让团队自行做出决策。他们采取了全栈方法，从基础设施、平台/语言到应用程序代码层面进行考虑。

在基础设施层面，他们利用CoreMark基准测试工具来一致地衡量不同EC2实例类型的性能。这种方法得出了几个关键发现:首先，较大实例的每CPU性能可能会因NUMA边界而比较小实例降低高达25%;其次，每一代新的EC2实例比前两代提高了50%的性能;第三，实例性能会因应用程序使