7、数据科学与机器学习全解析

数据科学与机器学习全解析

1. 数据科学流程

数据科学流程包含六个关键步骤，每个步骤都对最终的数据分析和模型构建起到重要作用。

1.1 数据科学流程步骤概述

步骤	描述
设定研究目标	在项目章程中明确项目的内容、原因和方法
获取数据	寻找并获取项目所需的数据，数据可来自公司内部或第三方
数据准备	检查和修复数据错误，用其他数据源丰富数据，并将其转换为适合模型的格式
数据探索	使用描述性统计和可视化技术深入研究数据
数据建模	运用机器学习和统计技术实现项目目标
展示与自动化	向利益相关者展示结果，并将分析过程工业化，以便重复使用和与其他工具集成

1.2 模型诊断与比较

在数据建模过程中，通常会构建多个模型，然后根据多个标准选择最佳模型。保留样本（holdout sample）在这个过程中起着重要作用，它是在模型构建过程中预留的一部分数据，用于在模型训练完