72、机器学习项目全流程指南与自动微分技术解析

机器学习项目全流程指南与自动微分技术解析

1. 机器学习项目清单

1.1 项目整体步骤

机器学习项目主要包含以下八个步骤：
1. 明确问题并把握全局
2. 获取数据
3. 探索数据以获取洞察
4. 准备数据，以便机器学习算法更好地揭示潜在数据模式
5. 探索多种不同模型并筛选出最佳模型
6. 微调模型并将其组合成优秀解决方案
7. 展示解决方案
8. 部署、监控和维护系统

1.2 明确问题并把握全局

这一步骤需要完成以下任务：
1. 从业务角度定义目标。
2. 明确解决方案的使用方式。
3. 了解当前的解决方案或变通方法（如果有）。
4. 确定问题的框架（有监督/无监督、在线/离线等）。
5. 确定性能衡量方式。
6. 确保性能衡量与业务目标一致。
7. 明确达到业务目标所需的最低性能。
8. 寻找类似问题，看是否可以复用经验或工具。
9. 确认是否有专业人员的专业知识可用。
10. 思考如何手动解决问题。
11. 列出目前所做的假设。
12. 尽可能验证假设。

1.3 获取数据

获取数据时，应尽可能自动化，以便轻松获取新数据。具体步骤如下：
1. 列出所需数据及其数量。
2. 找到并记录数据的来源。
3. 检查数据所需的存储空间。
4. 检查法律义务，必要时获取授权。
5. 获取访问授权。
6. 创建工作空间（有足够的存储空间）。
7. 获取