Amazon EC2 Inf2 实例正式可用 助力更低成本、更高性能的生成式 AI 推理（第一部分）

新Inf2实例的亮点

Inf2 实例目前有四种可用实例类型，最高扩展至 12 个 Amazon Inferentia2 芯片和 192 个 vCPU 配置。在 BF16 或 FP16 数据类型下，它们能够提供 2.3 petaFLOPS 的综合计算能力，并具有芯片间超高速NeuronLink 互连的功能。NeuronLink 可在多个 Inferentia2 芯片上扩展大模型，避免通信瓶颈，实现更高性能的推理。

每个Inferentia2芯片内有32 GB的高带宽内存（HBM），最高配置的 Inf2 实例可提供高达384 GB的共享加速器内存，总内存带宽为9.8 TB/s。对于需要大内存支持的的大型语言模型而言，这种带宽对于支持模型推理尤为重要。

基于专门为深度学习工作负载而构建的 Amazon Inferentia2 芯片的 Amazon EC2 Inf2，相比同类实例，单位功率性能高出了 50%。