21、AWS机器学习模型部署、推理与应用集成全解析

AWS机器学习模型部署、推理与应用集成全解析

1. 模型部署与推理

在模型部署和推理方面，有多种测试策略可供选择，这些策略有助于确保新模型版本的顺利部署和运行。

1.1 测试策略

• 金丝雀测试（Canary Testing） ：通常是将应用的最新版本推送给一小部分客户，获取早期反馈，并在通过某种部署策略将其推广到整个目标受众之前，将这些反馈融入到最新版本中。在AWS上，可以使用Amazon CloudWatch Synthetics创建金丝雀脚本，这些脚本用于复制或模拟用户操作。即使端点没有流量，也能持续测试模型的新版本，从而尽早发现问题和漏洞。创建金丝雀的具体操作可参考： https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Synthetics_Canaries_Create.html 。
• 影子测试（Shadow Testing） ：虽然金丝雀测试和模拟可以发现一些早期问题，但由于新版本应用并未向大量用户开放，可能仍然无法获得足够多真实用户的指标和反馈。在AWS上，可以通过Lambda函数路由传入请求，将生产应用的流量镜像到影子应用。
• A/B测试（A/B Te