因子分析是一种数据简化技术，用于处理特征间关系和降维。当数据量m远小于特征数n时，多元高斯分布的参数估计成为问题。因子分析通过假设特征间存在潜在因子，将高维数据表示为低维因子的线性组合加误差，利用EM算法进行估计。这种方法虽然简化了模型，但可能忽略特征间的复杂关系。
1 问题
之前我们考虑的训练数据中样例
的个数m都远远大于其特征个数n，这样不管是进行回归、聚类等都没有太大的问题。然而当训练样例个数m太小，甚至m<<n的时候，使用梯度下降法进行回归时，如果初值不同，得到的参数结果会有很大偏差（因为方程数小于参数个数）。另外，如果使用多元高斯分布(Multivariate Gaussian distribution)对数据进行拟合时，也会有问题。让我们来演算一下，看看会有什么问题：
多元高斯分布的参数估计公式如下：
订阅专栏 解锁全文
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
