3、机器学习项目挑战、局限与 MLOps 重要性

机器学习项目挑战、局限与 MLOps 重要性

1. 现实世界机器学习解决方案的常见挑战

在开发现实世界的机器学习解决方案时，会面临诸多挑战，以下是一些常见的挑战及其应对方法。

1.1 数据质量不佳

机器学习算法的性能对训练样本的质量非常敏感。少量的异常值、缺失数据或异常场景都可能显著影响模型的质量。因此，在训练任何机器学习算法之前分析数据时，必须谨慎处理这些情况。

• 识别和处理异常值 ：有多种方法可用于识别和处理异常值，最佳方法取决于问题的性质和数据本身。
• 处理缺失值 ：常见的方法包括使用均值、中位数、众数填充，若训练数据量足够大，删除少量有缺失值的行也是不错的选择。

1.2 欠拟合训练数据集

欠拟合是指模型过于简单，无法学习训练数据集的内在信息或结构。这可能在使用线性算法拟合非线性分布，或训练时仅使用少量特征时发生。欠拟合的模型从训练数据中学到的信息过少，因此在未见过或测试数据集上会出错。

应对欠拟合的常见方法如下：
- 特征工程：添加更多代表目标分布的特征。
- 采用非线性算法：若目标分布是非线性的，切换到非线性算法。
- 去除数据中的噪声。
- 增强模型能力：增加可训练参数、增加基于树的集成模型中的树的深度或数量。

1.3 过拟合训练数据集

过拟合与欠拟合相反，是指机器学习模型从训练数据中学到了过多不必要的信息，无法在测试或未见过的数据集上进行泛化。在这种情况下，模型在训练数据集上