5、机器学习项目前期准备：数据、安全与伦理考量

机器学习项目前期准备：数据、安全与伦理考量

在机器学习（ML）项目中，前期的准备工作至关重要，它涉及到对数据的深入理解、安全与隐私的保障，以及企业责任、监管和伦理方面的考量。以下将详细介绍这些方面的关键要点。

数据理解与探索

在进行ML项目时，明确所使用的数据类型是关键的第一步。了解数据能让我们洞察团队将面临的挑战规模和深度，以及团队的实际能力。这不仅包括从统计学角度理解数据特征，还涉及为实施项目所需的数据工程，以及其局限性和潜力。

数据发现任务

• 获取数据样本并记录已知的数据资源信息：
  • 数据的统计属性
  • 非功能属性（规模、速度、历史等）
  • 系统属性（数据所在位置、所依赖的基础设施、数据的用途）

与客户深入探讨可用数据具有多重好处：
- 通过开放性问题挖掘可能被客户忽视的数据来源，并加以有效利用。
- 探索和验证客户已知并推荐的数据集合，即使现阶段的方式较为简单。
- 了解客户数据的不足之处，以便在必要时从开源或商业渠道补充数据。
- 获取关于数据使用所需工作的信息，如数据质量提升、清理，以及是否需要采用方法从有限数据集中挖掘更多价值。

获取数据样本

获取完整数据集固然理想，但在项目前期可能因技术难度大、资金不足、涉及商业机密等原因而不现实。因此，获取具有代表性的数据样本更为可行且重要。获取样本的过程本身也可能揭示客户在数据理解和数据基础设施方面的重要问题。

数据样本的问题与分析

<