亚马逊云科技全新三大服务等级任你选，出海告别性能成本二选一-优快云博客

Amazon Bedrock推出全新服务等级，让用户在确保应用程序所需性能水平的同时，更精准掌控AI工作负载的成本。

在助力众多客户构建AI应用程序的过程中，亚马逊云科技见证了不同工作负载对于性能与成本间的权衡有着不同要求。这正是诸多运行AI工作负载的机构所面临的一项挑战，即难以在满足性能需求和实现成本优化之间找到平衡：部分应用程序需要快速响应以支持实时交互，而有些应用程序则能够接受较缓慢的数据处理方式。

为帮助客户应对上述挑战，Amazon Bedrock推出全新服务等级，让客户能够更灵活地根据工作负载需求，实现成本优化。

Amazon Bedrock推出的三个服务等级如下：

优先级（Priority）
标准级（Standard）
灵活级（Flex）

根据实际使用场景，不同应用程序对响应时间的要求各不相同：部分应用（如金融交易系统）需要极快的响应速度，另一些应用（如内容生成工具）也需快速响应以支持业务流程，而内容摘要生成类应用则可采用更缓慢的数据处理方式。

为此，Amazon Bedrock每个等级均为匹配特定工作负载需求而设计：

优先级会优先处理用户请求，为面向客户的聊天助手、实时语言翻译等关键任务型应用程序优先分配计算资源，当然该等级服务的定价也更高。

标准级以常规价格提供稳定性能，适用于内容生成、文本分析、常规文档处理等日常型AI任务。

灵活级则专为可接受较长延迟的工作负载而设计，以更低定价提供高性价比选择，非常适合模型评估、内容摘要生成以及多步骤分析与Agent工作流等场景。

您可为不同工作负载匹配最合适的服务等级，来优化支出。

例如，如果您运行的客服聊天助手要求快速响应，则可选择优先级服务，来获得最快处理速度，确保客服助手及时响应客户。对于可接受更长处理时间的内容摘要生成类任务，则建议选用灵活级，既能保证可靠性能，又能有效降低成本。

对于大多数支持优先级服务的模型而言，相比标准级服务，选择优先级服务能让客户每秒输出token数（OTPS）延迟降低高达25%，大幅提升处理效率。

有关各服务等级支持模型的最新列表，请参阅Amazon Bedrock官方文档。

Amazon Bedrock官方文档：

https://docs.aws.amazon.com/bedrock/latest/userguide/service-tiers-inference.html

为工作负载挑选合适的服务等级

如下表所示，本文提供了一个实用的选型框架，帮助您为工作负载挑选合适的服务等级。

首先，您需要与应用程序负责人一同梳理当前的应用模式，明确哪些工作负载需要即时响应，哪些可采用更平缓的数据处理方式。然后，您可以将小部分流量分流至不同服务等级，来测试性能表现与成本效益。

Amazon Pricing Calculator也能助您一臂之力，您只需输入各服务等级预计要处理的工作负载情况，它便能帮您估算出不同服务等级对应的费用。如此一来，您就能结合自身具体使用模式，制定出更为合理的预算规划。

要监控使用情况与成本，您可利用亚马逊云科技服务配额控制台，或在Amazon Bedrock中开启模型调用日志记录功能，并借助Amazon CloudWatch查看相关指标。这些工具能让您清晰掌握token使用情况，还能帮助您追踪不同服务等级的性能表现，为您的决策提供有力依据。

Amazon Bedrock全新服务等级现已开放使用，您可根据每次API调用的实际需求，灵活选择合适的服务等级。

以下是使用ChatCompletions OpenAI API的示例。对于支持该功能的模型，您也可在下列API的请求体中，传入相同的service_tier参数：

InvokeModel API
InvokeModelWithResponseStream API
Converse API
ConverseStream API

from openai import OpenAI
client = OpenAI(    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1",    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key)
completion = client.chat.completions.create(    model= "openai.gpt-oss-20b-1:0",    messages=[        {            "role": "developer",            "content": "You are a helpful assistant."        },        {            "role": "user",            "content": "Hello!"        }    ]    service_tier= "priority"  # options: "priority | default | flex")
print(completion.choices[0].message)