re:Invent 2023 | 当 SaaS 遇到 AI /ML 和生成式 AI：多租户模式和战略

关键字: [Amazon Web Services re:Invent 2023,[ Bedrock](https://aws.amazon.com/cn/bedrock/guardrails/ ?&trk=42570719-fa2a-4df9-893d-40b6ac004272&sc_channel=el " Bedrock"), Multi-Tenant Patterns, Generative Ai, Fine-Tuning Models, Tenant Experiences, Prompt Engineering]

本文字数: 1600, 阅读完需: 8 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1ei4y1a738

导读

在 SaaS 环境中支持 AI/ML 和生成式 AI 需要团队应对一系列多租户挑战。提供商需要考虑如何将租户映射到模型、如何为租户扩展推理、如何将解决方案与其他 AI/ML 服务集成，以及如何调整 LLM 以满足租户的特定需求。在本论坛中，您将深入了解多租户与 AI/ML 之间的这些交叉点，包括将 AI/ML 作为 SaaS 产品的一部分所面临的常见设计、性能、隔离和体验挑战。学习识别在 SaaS 环境中应用AI/ML 和生成式 AI 时需要考虑的模式和策略。

演讲精华

以下是小编为您整理的本次演讲的精华，共1300字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

在会议开始时，Todd和James详细阐述了他们的演讲背景和动机，即探讨多租户SaaS与生成性AI的结合。他们意识到许多客户和合作伙伴都对此充满兴趣，希望能了解如何将这些生成性AI的能力融入多租户环境中。

具体而言，需要考虑哪些支持SaaS工作流和原则的架构细节？多租户SaaS提供商如何在为每个租户提供个性化体验的同时，仍能提供一个统一的解决方案？这是Todd和James试图解答的核心问题。

Todd表示，生成性AI对于SaaS行业来说是不可避免的趋势，它能丰富应用程序并为有针对性的租户体验带来新的可能性。然而，他也提醒，多租户模式确实会对诸如数据分区、隔离和定价等方面产生影响。此次演讲将涵盖一些策略，如微调模型和使用检索增强生成(RAG)以在多租户背景下提供定制的生成性AI