【AI概念】特征向量（Eigenvector）与特征值（Eigenvalue）是什麽？他们有什么区别？各自在机器学习中担任什么样的角色？| 求解方法、具体例子、几何动画与代码直观演示、实际工程应用场合

人工智能AI酱

于 2025-06-20 20:28:01 发布

阅读量1.5k

点赞数 24

CC 4.0 BY-SA版权

分类专栏：【AI概念】专栏系列文章标签：人工智能机器学习特征向量特征值 eigenvector eigenvalue ai

本文链接：https://blog.youkuaiyun.com/ai_aijiang/article/details/148796323

【AI概念】专栏系列专栏收录该内容

25 篇文章

订阅专栏

大家好，我是爱酱。相信很多同学在学习机器学习是都会听过这两个词。上网找资料的时候会发现一大堆数学概念、矩阵（Matrix）计算等，看得一头雾水。本篇将系统讲解特征向量（Eigenvector）与特征值（Eigenvalue）的定义、直观理解、数学推导、案例流程和应用场景。内容适合初学者和进阶读者，分步解释，配合公式、具体例子及仔细的流程分析，让大家真正了解这两个重要的概念。

注：本文章含大量数学算式、详细例子说明及大量代码演示，大量干货，建议先收藏再慢慢观看理解。新频道发展不易，你们的每个赞、收藏跟转发都是我继续分享的动力！

一、特征向量与特征值的基本定义

1. 概念引入

在机器学习、数据分析、物理等领域，经常会遇到“特征值分解”、“主成分分析（PCA）”以及“线性判别分析（LDA）”等概念，而特征向量（Eigenvector）和特征值（Eigenvalue）正是这些方法的核心基础。

爱酱之前也做过深入介绍线性判别分析（LDA）的文章，有兴趣的同学可以前去观看一下。
传送门：
【AI深究】线性判别分析（LDA）全网最详细全流程详解与案例（附大量Python代码演示）|数学原理、案例流程、代码演示及结果解读|LDA与PCA的区别、实际业务中应用、正则化与扩展、多类别决策边界-优快云博客

2. 数学定义

这部分会是比较空泛一点的概念，看不懂也不要放弃，相信打后有例子支持就会更好理解！

给定一个 $n \times n$ 的方阵 $A$ ，如果存在非零向量（Non-zero Vectors） $v$ 和标量（Scalar） $\lambda$ ，使得：

则称 $v$ 为矩阵 $A$ 的特征向量（Eigenvector）， $\lambda$ 为对应的特征值（Eigenvalue）。

$A$ ：方阵（可以是对称矩阵、协方差矩阵等）
$v$ ：非零向量（特征向量）
$\lambda$ ：标量（特征值）

3. 直观理解

特征向量是被矩阵 $A$ 作用后方向不变的向量（只会被拉长或缩短）。
特征值描述了被拉长或缩短的比例。

举例：如果 $A$ 是一个线性变换（如旋转、缩放），那么特征向量 $v$ 在变换后仍然指向原来的方向，只是长度变为 $\lambda$ 倍。

4. 超简易例子说明

场景设定

假设有一个二维（2D）的线性变换（Linear Transformation）（比如一个2×2矩阵），它把平面上的所有点拉伸、缩放或旋转。

线性变换（Linear Transformation）：
我们把他想像为一个小小的工具，他的作用就是把一个向量（Vector）旋转（Rotate）或者放大缩小（Scale）。

向量（Vector）：就是我们是数据，一行行的数据（Rows of data）

线性变换×向量 = 改变后的新向量

向量（数据）

线性变换（Linear Transformation）（小型工具——用于旋转/改变大小）
注：这图是一个3×3 线性变换矩阵

$\begin{bmatrix}1 \\ 1 \\ 0 \end{bmatrix}$ 才是向量。

我们用一个简单的矩阵：

这个矩阵的作用是：

x方向（第一维）：拉伸2倍（2），
y方向（第二维）：保持不变（1）。

思考環節

你拿一根小木棍，分别放在x轴方向和y轴方向。
用矩阵A变换后，x轴方向的棍子被拉长2倍，y轴方向的棍子长度不变，方向也不变。
这说明：x轴和y轴方向的向量，在变换后方向没有改变，只是长度变了。

回到特征向量（Eigenvector）和特征值（Eigenvalue）

特征向量（Eigenvector）：在矩阵变换作用下，方向不变的向量。

特征值（Eigenvalue）：这些向量被拉伸或缩放的倍数（比如：两倍，那Eigenvalue就是2）。

对于上面的矩阵A：

x轴方向的单位向量 $\begin{bmatrix}1 \ 0\end{bmatrix}$ 是特征向量，对应特征值2（被拉长2倍）：
y轴方向的单位向量 $\begin{bmatrix}0 \ 1\end{bmatrix}$ 是特征向量，对应特征值1（长度不变）：

一句话总结

特征向量就是变换后方向不变的向量，特征值就是它被拉伸或缩放的倍数。

二、特征值与特征向量的求解方法

1. 特征方程

从 $A v = \lambda v$ 出发，可以变形为：

其中 $I$ 为单位矩阵。

要有非零解 $v$ ，必须满足：

这就是特征方程，解出 $\lambda$ 即可得到所有特征值。

2. 求解流程

计算 $\det(A - \lambda I)$ ，得到关于 $\lambda$ 的多项式方程。
求解该方程，得到所有特征值 $\lambda_1, \lambda_2, ..., \lambda_n$ 。
将每个特征值 $\lambda_i$ 代入 $(A - \lambda_i I) v = 0$ ，解出对应的特征向量 $v_i$ 。

三、二维矩阵的具体例子

假设有一个二维矩阵：

写出特征方程：
解出特征值：

所以 $\lambda_1 = 1$ , $\lambda_2 = 3$
求特征向量（以 $\lambda_1=1$ 为例）：

解得 $x + y = 0$ ，即 $v_1 = [1, -1]^T$ （任意倍数均可）。

对 $\lambda_2=3$ 同理， $(A - 3I)v = 0 \implies \begin{bmatrix} 2-3 & 1 \\ 1 & 2-3 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = 0$
$\begin{bmatrix} -1 & 1 \\ 1 & -1 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = 0$ ，解得 $-x + y = 0$ $\Rightarrow$ $y = x$ ，因此 $v_2 = \begin{bmatrix} 1 \ ,1 \end{bmatrix}^T$ 。

四、特征值与特征向量的几何意义

特征向量表示矩阵变换下“方向不变”的特殊方向。
特征值表示这些方向上的“伸缩比例”。
在PCA、LDA等算法中，特征向量常用来表示最重要的方向，特征值表示该方向的重要性（方差大小）。

五、几何动画与代码实现：特征向量和特征值的直观演示

为了让初学者更直观地理解特征向量和特征值，这里用Python和matplotlib画一个简单动画，展示矩阵变换前后，普通向量和特征向量的变化过程。

代码示例：二维矩阵变换下的特征向量

import numpy as np
import matplotlib.pyplot as plt

# Define matrix A
A = np.array([[2, 0],
              [0, 1]])

# Regular vector
v1 = np.array([1, 2])
# Eigenvector 1 (x-axis direction)
eigvec1 = np.array([1, 0])
# Eigenvector 2 (y-axis direction)
eigvec2 = np.array([0, 1])

# Transformed vectors
v1_trans = A @ v1
eigvec1_trans = A @ eigvec1
eigvec2_trans = A @ eigvec2

plt.figure(figsize=(6, 6))
plt.axhline(0, color='gray', lw=0.5)
plt.axvline(0, color='gray', lw=0.5)
plt.xlim(-1, 3)
plt.ylim(-1, 3)

# Original vectors
plt.arrow(0, 0, v1[0], v1[1], head_width=0.1, color='orange', label='Regular Vector')
plt.arrow(0, 0, eigvec1[0], eigvec1[1], head_width=0.1, color='blue', label='Eigenvector 1')
plt.arrow(0, 0, eigvec2[0], eigvec2[1], head_width=0.1, color='green', label='Eigenvector 2')

# Transformed vectors (dashed)
plt.arrow(0, 0, v1_trans[0], v1_trans[1], head_width=0.1, color='orange', linestyle='dashed', label='Transformed Regular Vector')
plt.arrow(0, 0, eigvec1_trans[0], eigvec1_trans[1], head_width=0.1, color='blue', linestyle='dashed', label='Transformed Eigenvector 1')
plt.arrow(0, 0, eigvec2_trans[0], eigvec2_trans[1], head_width=0.1, color='green', linestyle='dashed', label='Transformed Eigenvector 2')

# Only show unique labels
handles, labels = plt.gca().get_legend_handles_labels()
by_label = dict(zip(labels, handles))
plt.legend(by_label.values(), by_label.keys())

plt.title('Geometric Intuition of Eigenvectors and Eigenvalues')
plt.grid(True)
plt.show()