32、机器学习框架选择与数据平台现代化实践

机器学习框架选择与数据平台现代化实践

一、选择合适的机器学习框架

在构建机器学习应用时，云架构师需要根据构建团队的技能集来选择机器学习平台中的工具。不同技能水平的团队，适合的机器学习框架也有所不同。
- 数据科学家团队 ：他们倾向于使用代码优先的机器学习框架，如Keras/TensorFlow或PyTorch，并借助SageMaker、Vertex AI、Databricks等工具将其投入实际应用。例如，在处理定价优化问题时，数据科学家团队会选择构建动态定价模型，可能从控制方差定价方法入手，逐步纳入需求冲击等因素，整个过程需要使用代码完成。
- 领域专家团队 ：适合使用低代码的机器学习框架，像BigQuery ML或AI Builder。以定价优化为例，领域专家团队可能会构建分层定价模型，比如产品经理利用历史数据为不同层级制定价格，并根据市场细分特征调整价格，这一过程可通过SQL实现。
- 非技术从业者团队 ：需要无代码的机器学习框架，如DataRobot或Dataiku。例如，商店经理可根据历史数据和重要因素为店内产品定价，无需编写代码。

此外，机器学习工作流包含多个环节，不仅仅是模型训练和部署，还包括评估、调用、监控、实验、解释、故障排除和审计等。云架构师需要明确公司内谁将负责每个机器学习问题的各项任务。例如，数据科学家创建的模型可能由销售人员在Salesforce中调用，并由销售经理进行审计。若数据科学家以特定方式构建和部署模型，可能会给审计带来困难，此时云架构师可将模型部署到支持仪表板的DWH中，避免资源浪费。

在选择机器学习框架