17、生成式AI的生产部署与多模态应用

生成式AI的生产部署与多模态应用

1. 生成式AI生产部署考量

在生成式AI项目生命周期的早期，构建原型是常见做法。然而，当要将生成式AI应用从原型阶段推进到生产部署时，有几个关键因素需要考虑。

1.1 通用最佳实践

对于应用的许多组件，如前端界面，传统软件最佳实践和AWS架构良好实践可直接应用。在部署过程的优化方面，传统的DevOps或MLOps最佳实践同样适用，并非FMOps所独有。例如，部署基础模型时，一个最佳实践是使用可重复的工具，通过基础设施即代码（IaC）或配置即代码（CaC）来配置和管理SageMaker端点。这样能实现部署的可重复性、回滚能力，并支持如A/B测试等高级部署模式。

1.2 FMOps相关考量

在模型部署和版本管理方面，可能需要额外的依赖项，这些应记录在模型注册表中。以使用LoRA微调的模型为例，部署时需要多个依赖模型，包括基础模型、适配模型，以及根据部署实现可能需要的合并模型。每个模型的相关元数据应记录在模型注册表中，以便在需要时追溯模型谱系或重新打包部署。

下面用mermaid流程图展示模型部署与管理流程：

graph LR
    A[开始] --> B[选择基础模型]
    B --> C[微调模型]
    C --> D[记录依赖模型及元数据到注册表]
    D --> E[部署模型]
    E --> F[监控与管理]
    F --> G{是否需要调整?}
    G -- 是 --> C
    G -- 否 --> H[结束]