12、推荐系统的离线和在线性能评估

推荐系统的离线和在线性能评估

1. 数据处理基础方法

在数据处理中，主成分分析（PCA）和奇异值分解（SVD）是重要的方法。
- PCA ：需要从协方差矩阵计算特征值和特征向量来确定数据的主成分。PCA 的结果是一组新的变量，可通过初始变量的线性组合或混合来构建。这些新变量彼此不相关，大部分信息会压缩在第一个成分中，其余信息依次分布在后续成分中。协方差计算公式如下：
$\sum_{i = 1}^{n - 1} \frac{(x_i - \bar{x})(x_i - \bar{x})^T}{n - 1} = covariance(X,Y)$
- SVD ：是一种将矩形矩阵分解为其他三个矩阵的方法，是强大的矩阵分解工具，广泛应用于统计、机器学习和计算机科学领域。其数学表达式为：
$A = USV^T$
其中，$A$ 是 $m × n$ 的矩形矩阵，$U$ 是 $m × n$ 的酉矩阵，$S$ 是 $n × n$ 的对角矩阵，$V$ 是 $n × n$ 的酉矩阵。酉矩阵是其逆等于其共轭转置的矩阵。通常，当训练数据和测试数据一开始都可用时，SVD 可作为单个矩阵应用于训练集和测试集，其结果是降维数据，再进一步分为训练集和测试集。SVD 的主要优点是简化数据、去除噪声并提高结果质量。在推荐系统（RS）中，SVD 作为协同过滤（CF）技术应用，使用的矩阵结构中每行代表一个用户，每列代表一个项目。

2. 数据分析方法

数据的分析任务可以分为有监督和无监督机器学习任务，主要的分类和聚类方法分别属于这两类学习。
- 分类算法