8、特征工程基础设施：提升机器学习效率的关键

特征工程基础设施：提升机器学习效率的关键

1. 特征工程概述

在机器学习开发过程中，特征工程是首要且关键的步骤之一。数据科学家会在此步骤中挑选原始数据，并将其转换为一组用于训练和构建机器学习模型的特征。特征的质量和合理性对机器学习模型的准确性和性能有着重大影响。

特征的创建和生成，尤其是大规模的特征处理，在很大程度上依赖于数据基础设施的成熟度，并且会面临诸多工程挑战。这也解释了为何在缺乏特征工程基础设施支持时，数据科学家会在特征开发步骤上耗费大量时间。

特征工程和机器学习开发的其他步骤一样，是一个迭代的过程。当通过实验获得新的见解时，就需要对特征进行优化或开发新的特征。

1.1 特征工程的一般步骤

特征工程的具体流程可能会因机器学习要解决的具体问题而有所不同，但数据科学家通常会遵循以下一般步骤：
1. 特征发现 ：若已有合适的现有特征，复用它们是加速特征工程流程的便捷方法。随着组织内机器学习项目数量的增加，必然会出现一组基础特征，这些特征通常适用于类似的机器学习用例。
2. 探索性数据分析 ：识别和探索数据，挑选出潜在的特征。这包括分析和可视化数据、识别模式以及了解数据质量问题。
3. 特征转换 ：利用数学运算、统计方法（如均值、众数、方差）或各种特征工程技术（如独热编码、缩放和归一化、插补、降维和文本处理）对已识别的数据进行转换，从而生成特征。
4. 特征选择和验证 ：从生成的各种特征中，找出对训练机器学习模型最相关和有用的特征，然后检查是否存在