7、机器学习中的模型选择、生产流水线与降维技术

机器学习中的模型选择、生产流水线与降维技术

在机器学习的实际应用中，我们常常会面临模型选择、数据处理以及特征降维等诸多问题。下面将详细介绍信用卡欺诈检测系统的模型选择与生产流水线设计，以及MNIST手写数字数据集上的降维技术。

信用卡欺诈检测系统

在构建信用卡欺诈检测系统时，我们对多个模型进行了训练和评估。最初考虑了集成模型，但发现其性能并没有明显提升。因此，我们选择了更为简单的独立LightGBM梯度提升模型用于生产。

在将模型投入生产之前，我们对LightGBM模型在测试集上区分欺诈交易和正常交易的能力进行了可视化分析。从预测概率与真实标签的绘图结果来看，该模型能够较好地为实际欺诈交易分配较高的欺诈概率，为正常交易分配较低的欺诈概率。不过，偶尔也会出现误判的情况，即对实际欺诈交易分配低概率，对正常交易分配高概率，但总体结果令人印象深刻。

接下来，我们设计了一个简单的生产流水线，用于处理新的交易数据，具体步骤如下：
1. 导入新数据 ：将新数据导入名为 newData 的DataFrame中。
2. 特征缩放 ：对需要缩放的特征进行处理，代码如下：

newData.loc[:,featuresToScale] = sX.transform(newData[featuresToScale])

3. 生成预测 ：使用已经训练好的LightGBM模型进行预测