A Probabilistic View of Matrix Factorization: Finding S

作者：禅与计算机程序设计艺术

1.简介

随着深度学习的普及和应用的广泛，Matrix Factorization (MF) 模型越来越受到关注。这是一种在推荐系统、图像处理等领域广泛使用的矩阵分解技术。通过对用户-物品评分矩阵进行分解，可以得到用户和物品之间的潜在因素之间的关系，从而实现推荐和图像分析等功能。 本文就 Matrix Factorization 进行探讨，特别是概率模型下的 MF 模型。首先，我们将介绍概率统计中一些基本概念和术语；然后，描述 MF 的高斯分布作为先验知识假设所导致的非正定性问题，并给出相应的解决方案——对角协方差矩阵的修正；最后，提出了一个新的概率模型，即多任务学习的 VB 推断，能够有效地处理同时拟合多个任务的情况，并进行结构发现。此外，还会进一步讨论两种新颖的模型：Hierarchical Latent Variable Model 和 Hierarchical Bayesian Model，它们对 MF 模型进行了改进，使得模型更健壮，适用于不同数据类型的数据集。

2.基本概念与术语

2.1 概率

概率（probability） 是随机事件发生的可能性。如果一个事件发生的概率是$p(x)$，则称$X$为随机变量，$x$为其取值。如果$X$是离散的，则概率$P(X=x_i)=p_i$，其中$x_i$表示第$i$个可能的值，$p_i>0$。如果$X$是连续的，则概率$p(x)$具有无限多个小数值，分布由概率密度函数表示。概率密度函数（Probability Density Function，PDF）用$f(x;\theta)$表示，其中