6、AI产品模型开发、部署、测试及伦理考量

AI产品模型开发、部署、测试及伦理考量

1. 模型开发与过拟合问题

在AI/ML产品的模型开发中，若模型得分过高，可能意味着模型根本没起作用，或者它仅在训练数据上表现出色，而在新数据集上效果不佳，这种现象被称为过拟合。过拟合是数据科学和机器学习领域的重要话题，因为从根本上说，所有模型都存在缺陷，在选择最佳模型前不能轻易信任。作为AI/ML产品经理，应追求模型性能随时间逐步提升，对一开始就表现卓越的模型保持高度怀疑。

模型开发流程

1. 准备全面且具代表性的数据用于模型训练。
2. 多次训练模型并进行相应调整，以达到预期性能并向客户承诺的效果。

2. 模型部署

2.1 部署概述

模型训练完成后，接下来要考虑如何将其部署到生产环境。这一过程需要不同团队协作，可能包括数据科学家创建和训练模型、另一个团队验证工作和训练数据，以及工程师团队将模型部署到生产环境，还可能有专门的ML工程师负责不同环节。

2.2 部署策略因产品类型而异

产品类型	部署特点
B2C产品	通常分阶段进行更改，使用特定部署策略管理更新产品的接收情况，确定不同用户群体看到新模型的时间。因为一款产品要面向数千甚至数百万消费者，对不同用户意义不同。
B2B产品	通常在客户层面管理期