20、数据特征分析与主成分分析应用

数据特征分析与主成分分析应用

1. 特征缩放与Z分数

在数据处理中，将测量值X转换为 (X - average(X)) / stdDev(X) 是一种经典的特征缩放方法，被称为Z分数。与之前简单地将值从 [min; max] 转换为 [0; 1] 的方法相比，它更为复杂，但也有一些优势。转换后的特征以0为中心，正或负值可以直接解释为高或低。如果特征呈合理的正态分布，即围绕均值呈钟形分布，结果可能会更“合理”。标准差通常是比最小值和最大值更好的缩放观测值的指标，因为最小值和最大值按定义是具有极端值的异常值。

2. StackOverflow标签的相关性分析

2.1 准备工作

为了分析StackOverflow标签的相关性，我们创建一个新脚本 PCA.fsx 和一个模块 PCA.fs ，并通过NuGet添加对 Math.NET Numerics 和 Math.NET Numerics for F# 的引用。脚本将像之前一样加载 fsharp.Charting 的引用，并从文件中读取标题和观测值。

2.2 计算相关矩阵

Math.NET 内置了相关矩阵计算功能，但相关函数期望数据以特征形式呈现，因此我们需要将数据转置。以下是计算相关矩阵的代码：

#r @"..\packages\MathNet.Numerics.3.5.0\lib\net40\MathNet.Numerics.dll"