12、机器学习中的异常检测与模型部署

机器学习中的异常检测与模型部署

1. t - SNE与数据聚类

t - SNE在将数字组分离成簇方面表现出色，这表明数据中存在机器学习可以利用的模式。然而，其主要缺点是计算密集，在大型数据集上运行可能需要极长的时间。为缓解这一问题，有两种策略：
- 在数据集的子集上运行t - SNE，而非整个数据集。
- 使用主成分分析（PCA）降低数据维度，然后对经过PCA处理的数据集应用t - SNE。

2. 异常检测概述

异常检测是机器学习的一个分支，旨在识别数据集或数据流中的异常情况。例如，空客公司用它来预测喷气发动机故障和检测国际空间站传回的遥测数据中的异常；信用卡公司用它来检测信用卡欺诈。其目标是识别数据中的离群值，即与其他样本相比“不正常”的样本。

常见的异常检测方法包括隔离森林、一类支持向量机（One - class SVMs）和局部离群因子（LOF）等。大多数方法依赖无监督学习，不需要标记数据，只需观察样本集合就能确定哪些是异常样本。

2.1 基于PCA的异常检测原理

PCA可以将数据从m维降至n维，并且PCA变换可以反转以恢复原始的m维。但反转变换无法恢复应用变换时丢失的数据。基于PCA的异常检测的核心思想是，异常样本在经过PCA变换和反变换后，应比正常样本表现出更多的损失或重构误差（即原始数据与经过PCA变换和反变换后的数据之间的差异）。

2.2 使用PCA检测信用卡欺诈

以下是使用PCA进行信用卡欺诈检测的具体步骤：
1. 加载数据集并分离样本 ：