深度学习数学基础：随机变量详解

深度学习数学基础：随机变量详解

d2l-en d2l-ai/d2l-en: 是一个基于 Python 的深度学习教程，它使用了 SQLite 数据库存储数据。适合用于学习深度学习，特别是对于需要使用 Python 和 SQLite 数据库的场景。特点是深度学习教程、Python、SQLite 数据库。 项目地址: https://gitcode.com/gh_mirrors/d2/d2l-en

随机变量是概率论与统计学中的核心概念，也是深度学习理论的重要数学基础。本文将深入浅出地讲解随机变量的关键知识点，帮助读者建立清晰的理论框架。

离散与连续随机变量

随机变量可以分为两大类：离散型和连续型。离散随机变量只能取有限个或可数个值（如掷骰子的结果），而连续随机变量则可以取任意实数值（如测量温度的结果）。

从离散到连续的思维转变

理解连续随机变量需要思维上的重要转变。我们可以通过一个飞镖投掷的例子来体会：

假设我们想知道飞镖恰好命中距离靶心2厘米处的概率。如果我们先以1厘米为间隔划分区域，统计发现20%的飞镖落在2厘米区间内。但实际上，这个区间包含了1.5-2.5厘米的所有命中。

当我们提高精度到0.1厘米时，可能只有3%的飞镖落在2.0厘米的区间内。继续提高精度，概率会进一步减小。这表明对于连续随机变量，精确命中某一点的概率实际上是0。

概率密度函数(PDF)

对于连续随机变量，我们使用概率密度函数(Probability Density Function, PDF)来描述其分布特性。PDF满足两个关键性质：

1. 非负性：p(x) ≥ 0
2. 归一性：∫p(x)dx = 1

PDF在某点的值并不直接给出概率，而是给出了概率密度。要计算随机变量落在某个区间内的概率，需要对PDF在该区间内积分：

P(X∈(a,b]) = ∫ₐᵇ p(x)dx

实例解析

考虑一个双峰分布的概率密度函数：

p(x) = 0.2*exp(-(x-3)²/2)/√(2π) + 0.8*exp(-(x+1)²/2)/√(2π)

这个PDF由两个高斯分布叠加而成，分别在x=3和x=-1附近形成峰值，反映了随机变量更可能出现在这两个区域。

累积分布函数(CDF)

累积分布函数(Cumulative Distribution Function, CDF)定义为：

F(x) = P(X ≤ x) = ∫₋ₓˣ p(t)dt

CDF具有以下性质：

1. 单调非减
2. 当x→-∞时F(x)→0，当x→∞时F(x)→1
3. 对于连续随机变量，CDF是连续函数

CDF的一个优势是它统一了离散和连续随机变量的描述框架。

随机变量的数字特征

为了更直观地理解随机变量的行为，我们引入几个重要的统计量：

均值（期望值）

均值描述了随机变量的"中心位置"： μₓ = E[X] = ∑xᵢpᵢ (离散) 或 ∫xp(x)dx (连续)

性质：

• E[aX+b] = aE[X]+b
• E[X+Y] = E[X]+E[Y]

方差

方差衡量随机变量围绕均值的波动程度： σₓ² = Var(X) = E[(X-μₓ)²] = E[X²] - μₓ²

性质：

• Var(X) ≥ 0
• Var(aX+b) = a²Var(X)
• 若X,Y独立，Var(X+Y) = Var(X)+Var(Y)

标准差

标准差是方差的平方根，与原始变量同单位： σₓ = √Var(X)

切比雪夫不等式告诉我们，对于任何随机变量： P(|X-μₓ| ≥ ασₓ) ≤ 1/α²

这意味着，例如约99%的样本会落在均值±10倍标准差的范围内。

实际应用示例

假设一个随机变量X取值：

• a-2，概率p
• a+2，概率p
• a，概率1-2p

计算可得：

• 均值：μₓ = a
• 方差：σₓ² = 8p
• 标准差：σₓ = 2√(2p)

这个例子展示了如何通过这些统计量来刻画随机变量的核心特征。

理解随机变量及其统计特性对于深度学习至关重要，它们是构建和理解概率模型、优化算法以及评估模型性能的基础。掌握这些概念将帮助读者更好地理解深度学习中的各种概率方法和统计学习理论。

d2l-en d2l-ai/d2l-en: 是一个基于 Python 的深度学习教程，它使用了 SQLite 数据库存储数据。适合用于学习深度学习，特别是对于需要使用 Python 和 SQLite 数据库的场景。特点是深度学习教程、Python、SQLite 数据库。 项目地址: https://gitcode.com/gh_mirrors/d2/d2l-en