2、机器学习工作流与数据处理全解析

机器学习工作流与数据处理全解析

在当今的科技时代，机器学习（ML）已经成为解决各种实际问题的重要工具。无论是企业提高客户参与度，还是减少客户流失，数据的收集、分析和使用都在其中起着关键作用。下面将详细介绍机器学习工作流的各个环节。

1. 可行性与数据问题分类

在进行机器学习分析时，提出正确的问题至关重要，它能引导我们确定所需的数据以及潜在的数据准备方式。分析数据时出现的问题可归为以下五类，以雨伞销售为例：
| 算法/模型 | 问题或疑问 |
| — | — |
| 回归问题 | 本月/本季度预计销售多少把雨伞？ |
| 分类问题 | 他们购买的是直柄雨伞（A）还是折叠雨伞（B）？ |
| 聚类问题 | 按月份或地区划分，分别销售了多少把直柄雨伞？ |
| 异常检测问题 | 公司在莫哈韦沙漠的雨伞销量是否比俄勒冈州波特兰市还多？ |
| 强化学习 | 公司政策规定只向欠款不超过 500 美元的客户发货。能否根据此政策训练一个制造机器人为客户提取、包装、装载和运送直柄雨伞？ |

2. 数据收集

在 21 世纪初，公司、大学和研究人员通常依靠本地服务器、硬盘或数据中心来托管数据库应用程序和存储数据。但这种方式成本高昂，需要维护服务器基础设施、更新软件、安装安全补丁等。如今，为节省成本，企业和教育机构纷纷转向云计算。云存储是云供应商提供的文件存储服务，允许上传不同格式的文件，也可配置为自动接收来自不同数据源的文件。大多数机器学习模型使用文件中的数据进行训练，将数据存储在云存储桶中便于数据收集，且云存储桶可存储结构化和非结构化数据。

另一种存储数据文件的选择是 GitHub，它