机器学习降维:因子分析(Factor Analysis)通俗完整版

因子分析(factor analysis) 因子分析 基本思想 公式推导 基于R的实验 结论 基本思想在这一讲当中呢,我们谈一谈,因子分析(factor analysis),在上一节当中,我们说了主成分分析,我们说这两种方法有点相似,初学者往往有些搞不清楚。首先从原理上说,主成分分析是试图寻找原有自变量的一个线性组合。这个组合方差要大,那么携带的信息也就多,也就是相当于把原始数据的主要成分给拿了出来。而因子分析呢,是从假设出发,它是假设所有的 阅读详情

机器学习降维:因子分析(Factor Analysis)超通俗完整版

因子分析是专门用来找“隐藏底层原因”的降维方法。它不只是简单压缩维度,更能帮你从一堆指标里,挖出背后真正起作用的潜在因子,比如“学习能力”“智力”“幸福感”“消费能力”这种没法直接测量的变量。

这篇文章用大白话+原理拆解+可运行代码+对比总结,把因子分析讲得通俗易懂,本科生、研究生都能轻松掌握。


一、先看懂:因子分析到底是什么?

1. 一句话理解

因子分析 = 从一堆可观测指标里,挖出少数几个“隐藏的潜在因子”
它认为:你看到的所有特征,都是由几个看不见的公共因子 + 噪声共同决定的。

2. 超通俗例子

你有学生的 6 个指标:

  • 数学、语文、英语、艺术、体育、社交参与
    这些指标背后其实只有 2 个隐藏因子:
  1. 学习能力(决定各科成绩)
  2. 活跃程度(决定体育、社交)

因子分析就是自动把这 2 个因子挖出来。

3. 和 PCA 最核心区别

  • PCA:保方差、降维、不太好解释
  • 因子分析:找潜在结构、可解释、带噪声模型

二、因子分析核心思想

模型公式(最简单版):
X=ΛF+ϵX = \Lambda F + \epsilonX=ΛF+ϵ

  • XXX:你能看到的观测变量
  • FFF:隐藏的公共因子
  • Λ\LambdaΛ:因子载荷(每个变量受因子影响多大)
  • ϵ\epsilonϵ:噪声/独特因子

思想总结:
所有可观测特征,都由少数几个隐藏因子 + 各自的噪声生成。


三、3 个关键概念(必须懂)

1. 因子载荷(Loading)

表示变量和因子的相关程度,绝对值越大,关系越强。

2. 因子旋转(Rotation)

让载荷向 0 或 1 靠拢,让因子更容易命名解释。
常用:Varimax(正交旋转)

3. 因子得分(Score)

每个样本在隐藏因子上的取值,就是降维后的结果。


四、因子分析标准流程(一步不落)

  1. 数据标准化(必须做)
  2. 计算协方差矩阵
  3. 确定因子个数(碎石图/特征值>1)
  4. 估计因子载荷(最大似然/主成分法)
  5. 因子旋转(增强可解释性)
  6. 计算因子得分(降维完成)
  7. 解释并命名因子

五、实战代码:学生数据因子分析(可直接运行)

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.decomposition import FactorAnalysis, PCA
from sklearn.preprocessing import StandardScaler

# ====================== 1. 生成模拟数据 ======================
np.random.seed(42)
n_samples = 2000

data = {
    'Math': np.random.normal(75, 10, n_samples),
    'Science': np.random.normal(80, 12, n_samples),
    'English': np.random.normal(70, 8, n_samples),
    'Art': np.random.normal(65, 5, n_samples),
    'Sport': np.random.normal(50, 15, n_samples),
    'Social': np.random.normal(60, 10, n_samples)
}
df = pd.DataFrame(data)

# ====================== 2. 标准化 ======================
scaler = StandardScaler()
scaled = scaler.fit_transform(df)

# ====================== 3. 因子分析(提取2个因子) ======================
fa = FactorAnalysis(n_components=2, random_state=42)
factor_scores = fa.fit_transform(scaled)

# ====================== 4. 查看因子载荷 ======================
loadings = fa.components_.T
loadings_df = pd.DataFrame(
    loadings,
    index=df.columns,
    columns=['Factor1', 'Factor2']
)
print("因子载荷矩阵:")
print(loadings_df.round(2))

# ====================== 5. 热力图可视化 ======================
plt.figure(figsize=(10, 5))
sns.heatmap(loadings_df, annot=True, cmap='coolwarm', center=0)
plt.title('因子载荷热力图')
plt.tight_layout()
plt.show()

# ====================== 6. 降维结果散点图 ======================
plt.figure(figsize=(8, 6))
plt.scatter(factor_scores[:, 0], factor_scores[:, 1], alpha=0.5, s=30)
plt.xlabel('Factor 1(学习能力)')
plt.ylabel('Factor 2(活跃程度)')
plt.title('因子分析降维结果')
plt.grid(alpha=0.3)
plt.show()

# ====================== 7. 和 PCA 对比 ======================
pca = PCA(n_components=2)
pca_scores = pca.fit_transform(scaled)

plt.figure(figsize=(8, 6))
plt.scatter(pca_scores[:, 0], pca_scores[:, 1], alpha=0.5, s=30, c='orange')
plt.xlabel('PCA 1')
plt.ylabel('PCA 2')
plt.title('PCA 降维结果')
plt.grid(alpha=0.3)
plt.show()

结果解释

  • Factor1:在数学、科学、英语上载荷高 → 学习能力
  • Factor2:在体育、社交上载荷高 → 活跃程度
    完美挖出隐藏结构!

六、因子分析的优缺点(面试高频)

✅ 优点

  1. 可解释性极强:能挖出有实际意义的潜在因子
  2. 带噪声模型:把噪声单独分离,更符合真实数据
  3. 旋转优化:让因子更容易命名
  4. 适合社科/心理/教育/问卷:专门用来挖隐藏特质

❌ 缺点

  1. 假设严格:要求因子独立、数据近似正态
  2. 因子个数难确定:带主观性
  3. 命名依赖经验:不同人可能解释不同
  4. 只能线性:无法处理复杂非线性流形

七、因子分析 vs PCA(最清晰对比)

对比项因子分析 FA主成分分析 PCA
目标找隐藏潜在因子保最大方差
噪声显式建模噪声不区分噪声
可解释性高,可命名低,多为数学方向
旋转支持,效果更好一般不旋转
模型思想生成式:观测=因子+噪声投影式:线性组合
适用场景问卷、心理、社科、找原因通用降维、去冗余、提速

八、什么时候用因子分析?

✅ 推荐使用

  • 你相信数据背后有隐藏因素(能力、态度、特质)
  • 你需要可解释的维度,不只是黑箱降维
  • 数据来自问卷、考试、评分、行为指标
  • 社科、教育、心理、市场调研、用户画像

❌ 不推荐使用

  • 数据明显非线性流形(瑞士卷、环形)
  • 只需要快速降维,不关心解释
  • 数据不符合正态假设
  • 超大规模图像/文本高维数据

九、总结(一句话记住)

因子分析是“找隐藏原因”的降维工具,它能从一堆可观测指标里,自动挖出少数几个有实际意义的潜在因子,既降维又可解释,是社科、问卷、用户研究里最常用的降维方法。

因子分析 FA | Factor Analysis 本文主要简单介绍了因子分析的基本概念,优缺点,应用场景,建模过程,建模时的注意事项,评价指标,实现方法,python示例和模型参数等。 阅读详情

相关推荐

因子分析(FA)算法简述

文章目录前言一、什么是因子分析?1.1 因子分析应用背景1.2 因子分析算法的基本步骤1.3 因子分析算法的数学解释1.3.1 因子模型1.3.2 因子载荷矩阵的求解二、因子分析的应用实例三、主成分分析(PCA)与因子分析(FA)的联系与区别总结 前言 在学习数据降维时,了解到因子分析(FA)算法是其中的一种方式,因此,在这里对因子分析算法做一个简要的归纳、梳理,后续会对数据降维的几种方式做个总结,感兴趣的朋友,可以持续关注。 一、什么是因子分析? 因子分析法是指: 研究从变量群中提取共性因子的统计技术,

iceberg7012的博客 7万+

【数学建模】因子分析

文章目录1 因子分析<1> 因子分析的基本理论<2> 因子的基本步骤 1 因子分析 <1> 因子分析的基本理论 1 什么是因子分析? 因子分析是主成分分析的推广,也是利用降维的思想,由研究原始变量相关矩阵或协方差矩阵的内部依 赖关系出发,把一些具有错综复杂关系的多个变量归 结为少数几个综合因子的一种多元统计分析方法。 2 因子分析的基本思想 把每个研究变量分解...

weixin_44378835的博客 2万+

斯坦福大学公开课 :机器学习课程(Andrew Ng)——12、无监督学习:Factor Analysis

1)问题描述 2)协方差矩阵的限制 3)多元高斯分布的边缘分布和条件分布 4)因子分析的例子 5)因子分析模型 6)因子分析的EM估计‘ 7)简单总结 1)问题描述    之前我们考虑的训练数据中样例的个数m都远远大于其特征个数n,这样不管是进行回归、聚类等都没有太大的问题。    然而当训练样例个数m太小,甚至m变成奇异阵(),也就是说不存在,根

mmc2015的专栏 2801

因子分析(factor analysis)过程

因子分析是一种常用的特征提取方法,可以被认为是主成分分析(Principal Component Analysis, PCA)的扩展。因子分析与PCA最大的区别在于,因子分析得到的隐藏因子具有可解释性,具有较高的实用价值。现如今,因子分析在提高模型可解释性和有效性的研究还尚未得到彻底的分析和探索。

outfloor_513的博客 7627

使用线性降维方法进行数据降维

线性降维方法是一类通过将高维数据转换为低维表示的技术,目的是在减少特征数量的同时,保留尽可能多的有用信息。这类方法在处理高维数据时非常有效,因为它们可以消除冗余特征和噪声,使数据更易于可视化和建模。常见的线性降维方法包括主成分分析(PCA)、增量PCA、截断SVD和因子分析,这些方法各自有不同的应用场景和适用性,如适用于稀疏数据、分批处理大数据等。方法名描述适用场景主成分分析 (PCA)通过正交变换将一组可能相关的变量转换为一组线性不相关变量的技术。通用的线性降维方法。

Mr数据杨 1145

Python代码实现因子分析(Implementing Factor Analysis Using Pytho

作者:禅与计算机程序设计艺术 1.简介 一、编写目的 作者准备通过本文教读者如何使用Python语言对因子分析进行编程。文章内容主要面向具有一定数据处理能力,具有一定Python基础知识的读者,力求全面准确地描述因子分析过程及其实现方法。文章适合具有以下专业背景

AI天才研究院 477

python实战因子分析factor analysis

因子分析是一种统计方法,可用于描述观察到的相关变量之间的变异性,即潜在的未观察到的变量数量可能更少(称为因子)。例如,六个观察变量的变化可能主要反映了两个未观察(基础)变量的变化。因子分析搜索这种联合变化,以响应未观察到的潜在变量。将观察到的变量建模为潜在因素以及“错误”项的线性组合。 简而言之,变量的因子加载量化了变量与给定因子相关的程度。 因子分析方法背后的一个普遍原理是,有关观察到的变量之间的相互依赖性的信息可以稍后用于减少数据集中的变量集。因子分析通常用于生物学,心理计量学,人格理论,市场营销,产品

fulk6667g78o8的专栏 7358

PCA因子分析工具:Factor_analysis实战指南

因子分析是统计学中一种用于数据降维的方法,旨在解释变量之间的相关性。通过对大量变量进行因子分析,可以发现影响这些变量背后更少的不可观测变量(即“因子”)。这种方法可以揭示数据中隐藏的结构,对理解复杂数据集的内在关系非常有帮助。Factor_analysis是一个强大的统计分析工具,它提供了从数据分析到结果解释的一站式解决方案。这个工具具有以下功能和特点:多元数据降维:能够自动识别并提取数据中的主要成分,减少数据集维度。直观的用户界面:提供图形用户界面,便于用户操作和理解分析流程。

weixin_33610780的博客 1171

降维算法(PCA)

降维方法1、主成分分析(PCA) 在PCA中,数据从原来的坐标系转换到新的坐标系,新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向,第二个新坐标轴选择和第一个坐标轴正交且具有最大方差的方向。该过程一直重复,重复次数为原始数据中特征的数目。我们会发现,大部分方差都包含在最前面的几个新坐标轴中。因此,我们可以忽略余下的坐标轴,即对数据进行降维处理。2、因子分析(Fact

Lanbo优快云的博客 1万+

用Python+PyTorch实现DQN无人机避障:从环境搭建到实战训练(附完整代码)

本文详细介绍了如何使用Python和PyTorch框架,基于深度强化学习中的DQN算法,实现一个无人机自主避障系统。内容涵盖从自定义环境搭建、DQN智能体核心算法实现,到完整的训练流程与超参数调优,并提供了可视化演示与进阶优化方向,为开发者提供了从理论到实践的完整指南。

kubernetes8ctl的博客 642

GPlates——【将化石点标记在古地理图上时,改变标记点的大小和形状】

GPlates在还原古地理图和计算古坐标点上功能十分卓越,最近在使用它标注某个类群的化石坐标点时,这些点在地图上显示得非常小,让人不易察觉。作为一款优秀的GUI应用,应该具备更改标记点外观的功能,然而在查阅了官方手册,pygplates API后,表明不管是桌面应用还是python接口,都无法简便地修改标记点的外观。在之前GPlates学习和最近的pygplates学习中,印象里有可以改变标记点外观的东西,叫做。当然,这又诱使我翻了一遍资料,然而又没有直接关于symbol的资料。

whitedrogen的博客 2544

数据科学——因子分析(Factor Analysis)

因子分析是一种统计方法,用于发现数据集中的潜在结构。它通过识别变量之间的相关性模式,将多个变量简化为一组较少的不可观测的变量,称为因子。这些因子代表了原始变量的潜在关联,有助于解释数据中的变异性。

weixin_43156294的博客 2095

S32DS3.5图形化配置实战:从零构建S32K144通信接口工程

本文详细介绍了如何使用S32DS3.5图形化配置工具从零构建S32K144通信接口工程。通过实战演示引脚配置、时钟树设置、SPI接口搭建等关键步骤,帮助开发者快速掌握NXP S32K系列开发技巧,提升嵌入式开发效率。特别针对S32DS3.5版本的新特性进行了深度解析,包括智能代码生成和调试优化方法。

weixin_26834815的博客 201

机器学习:Factor analysis因子分析

这部分内容还是挺奇怪的,学生的时候感觉不难啊,但是把复盘的时候,总是各种难以明说的困惑,不知道是不是因为戒烟,注意力不够专注,总之,学的不是很容易。 说归来因子分析,解决的是维度高,样本不足的情况下,模型建立的问题。我们之前讲的混合高斯模型里都是维度数远小于样本数的情况,如果维度是远大于样本数的话,我们仍然用以前的方法建立混合高斯模型会遇到问题,因为在这种情况,协方差会等于0,也就是说我们无法表

Call Me Hi Johnny~~ 9853

【faers数据库-R语言】

摘要:本文详细介绍了FAERS数据库不良反应信号挖掘的完整流程,包括数据解压导入(R代码示例)、数据结构理解、数据清洗(缺失值处理、标准化、合并和编码映射)、信号挖掘准备(药物-反应组合表创建)以及信号强度指标计算(PRR和ROR)。重点阐述了数据清洗的关键步骤,如缺失值处理(colSums(is.na()))、数据标准化(toupper()、as.Date())和表合并(merge()),并提供了完整的R语言实现代码。最后强调结果需结合临床知识解读,建议使用data.table等高效工具处理大数据。整个流

weixin_46587777的博客 1505

(LDA新闻文本主题分析)基于 gensim训练LDA模型,进行新闻文本主题分析 完整代码+数据 可直接运行

(LDA新闻文本主题分析)基于 gensim训练LDA模型,进行新闻文本主题分析 完整代码+数据 可直接运行

机器学习深度学习业余选手 1499

降维算法总结 一

降维之PCA,FA,LLE

zwlq1314521的专栏 2558

硬核实战!Python爬虫从0到1完整版:爬取知乎热榜+回答内容(数据去重+Excel一键导出+避坑指南,零基础友好)

✔️ 适用人群:Python爬虫零基础、想练手实战爬虫、需要爬取知乎内容做数据分析、办公/学习素材整理的同学爬取知乎热榜全量数据(排名+标题+热榜链接+热度值) →自动跟进爬取每个热榜问题的回答内容(回答者昵称+赞同数+评论数+回答正文+发布时间) →数据清洗+智能去重→一键导出格式化Excel文件,所有功能一站式完成入门级难度,无复杂反爬破解、无分布式/代理池,纯requests请求+静态解析,新手能看懂、能运行、能修改;爬取速度快,热榜+回答全程仅需几十秒。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1463

【ML】因子分析 Factor Analysis

FA

Esperanto.的博客 669

携程机票数据爬取实战:使用 Python 获取携程网机票信息

通过本篇博客,我们详细介绍了如何使用 Python 爬取携程网的机票信息,涉及了静态网页爬取(使用 Requests 和 BeautifulSoup)和动态网页爬取(使用 Selenium)两种方法。通过获取的数据,我们不仅能够进行票价分析,还可以构建更为复杂的预测模型或趋势分析工具。爬虫技术不仅能够帮助我们收集有价值的数据,还能够为商业决策提供数据支持。在实际应用中,我们可以结合更多的分析方法,如自然语言处理、图像处理等,进一步提升数据的价值。

2201_76125261的博客 1659

Android14 Qcom 从Framework到Driver带你打开WIFI(二)

上篇文章讲到了UI打开WIFI以后,逐步调用到加载底层驱动以及通知等相关流程。这篇接着上文继续往下看WIFI ON的后续动作。

IAYLBL的博客 768

MachineLearning 2. 因子分析(Factor Analysis)

全网解析最全面的机器学习之因子分析

weixin_41368414的博客 2491

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

机器学习 cs229学习笔记4 (EM for factor analysis & PCA(Principal components analysis))

============================================================================= EM FOR FACTOR ANALYSIS ============================================================================= 通过cs229学习笔记3 (EM a

DarkScope从这里开始 8333

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

因子分析factor analysis_spss运用_python建模(推荐AAA)

  sklearn实战-乳腺癌细胞数据挖掘(博主亲自录制视频)   https://study.163.com/course/introduction.htm?courseId=1005269003&amp;utm_campaign=commission&amp;utm_source=cp-400000000398149&amp;utm_medium=share          项目合作Q...

weixin_33704591的博客 7441

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Factor_Analysis

Factor_Analysis(因子分析) Factor Analysis 简书:较好理解的解释,其中公式有一定的推导(仅展现关键步骤,细节大多需要自行补充),基本为结论式。 感性层面理解:首先,明确FA和PCA的区别。PCA做的是对某个样本,试图寻找到一组方差尽量大的线性表示(基向量),以便降维;FA做的是,假想存在一些隐变量,它们影响着我们的观测结果(即我们得到的数据样本),我们试图...

weixin_30585437的博客 247

因子分析工具:数据降维与特征提取实战指南

因子分析是一种经典的数据降维技术,通过识别观测变量背后的潜在因子,有效解决高维数据分析中的多重共线性和维度灾难问题。其核心原理是基于变量间的相关性矩阵,利用主成分分析或最大似然估计等方法提取公因子。在金融风控、市场研究等领域,因子分析能显著提升模型解释性和业务洞察力。例如在用户行为分析中,可提取出价格敏感度、品牌忠诚度等关键特征,为精准营销提供数据支撑。现代工具实现结合了并行计算和自适应因子数确定等技术创新,使分析效率大幅提升。本文以Python的factor_analyzer库为例,详解从数据预处理到因子

weixin_30561177的博客 396
上一篇: 机器学习降维核心:奇异值分解 SVD
下一篇: 机器学习最强可视化降维:t-SNE 超通俗完整版
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值