【人工智能数学基础】概率密度函数

一、核心思想：为什么需要概率密度函数(PDF)？

首先，我们需要区分离散型随机变量和连续型随机变量。

• 离散型变量：取值是可数的。例如，掷一个骰子的点数（1, 2, 3, 4, 5, 6），某一地区的人口数。
• 连续型变量：取值在一个区间内是不可数的。例如，一个人的身高（可能是175cm，175.1cm，175.01cm…），完成一个任务所需的时间。

对于离散型变量，我们可以直接谈论“点概率”。例如，P(掷骰子得到3) = 1/6。它的概率分布可以用一个简单的公式或一张表格清晰地列出来。

但对于连续型变量，情况就完全不同了。想象一下你测量一个人的身高：

• 问：P(身高 = 175.000… cm) 的概率是多少？
• 答：从理论上讲，这个概率是0。

因为身高是一个连续的范围，精确到无限小数位等于某个特定值的可能性是无限低的（可以理解为在无数个可能的值中，选中一个特定值的概率几乎不存在）。

于是，我们就不能像离散变量那样谈论“点概率”了。我们需要一种新的工具来描述连续随机变量在不同取值附近的“可能性”大小，这个工具就是概率密度函数。

---

二、概率密度函数的定义与直观理解

2.1 定义：

概率密度函数描述了一个连续型随机变量，落在某个特定值 附近 的可能性大小。记作$f(x)$。

2.2 最关键的理解：

• 横轴（x轴）：代表连续型随机变量所有可能的取值（例如，身高、温度、测试分数）。
• 纵轴（y轴）：代表概率密度，记作 $f(x)$，$f(x)$本身不是概率。
• PDF的曲线下的面积才代表概率。

这就像物理学中的“线密度”（比如一根棍子每厘米的质量）：

• 你不能问“在10厘米这个点上的质量是多少？”（质量为0），但你可以问“在9.5厘米到10.5厘米这一段的质量是多少？”
• 同样，对于PDF，你不能问 $P(X=x)$，但你可以问$P(a\le X\le b)$，这个概率就等于从a到b区间内，PDF曲线下的面积。

2.3 直观理解：

我们可以把PDF曲线想象成一座描述“可能性”的山峰或丘陵。

• “山峰”的高度：
  • 曲线越高的地方，表示随机变量取该附近的值的“可能性”或“密集程度”越大。
  • 曲线越低的地方，表示随机变量取该附近的值的“可能性”越小。
• “山峰”下的面积：
  • 我们关心的是某一块区域的面积，而不是某一个点的高度。
  • 曲线下的总面积被固定为1（即100%），这代表了所有可能事件的总概率。
  • 随机变量落在某个区间 ([a, b]) 的概率，就等于在横轴a和b之间，曲线所覆盖的面积。

一个绝佳的类比：人口密度地图

• 想象一张中国人口密度地图，颜色越深表示人口越密集。
• PDF曲线的y值（高度） 就像地图上的人口密度（人/平方公里）。你不能说“北京市这个点的质量是1000人”，但你可以说“北京市的人口密度是1000人/平方公里”。
• 概率（曲线下的面积） 就像计算河北省的总人口。你需要把河北省范围内所有地方的人口密度进行“积分”（即加权求和），才能得到总人口。

2.4 数学表达：

随机变量$X$ 落在区间 $[a,b]$的概率，是其PDF在该区间上的积分：

$$P(a\le X\le b)={\int }_a^{b}f(x)dx$$

---

三、概率密度函数的核心性质

一个有效的PDF必须满足以下两个条件：

1. 非负性：对所有的$x$，有 $f(x)\ge 0$。曲线永远不会跑到x轴下方（概率密度不能为负）。
2. 总面积为1：整个曲线与x轴围成的总面积严格等于1。这确保了所有可能结果的概率之和为100%。
   $${\int }_{-\infty }^{\infty }f(x)dx=1$$

---

四、经典例子：高斯分布（正态分布）的PDF

高斯分布的PDF：

$$f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{1}{2}{\left(\frac{x-\mu }{\sigma }\right)}^2}$$

• $\mu$（均值）：决定了钟形曲线的中心位置。
• $\sigma$（标准差）：决定了钟形曲线的“胖瘦”（离散程度）。

如何用这个PDF求概率？

例如，我们想知道一个服从正态分布 $N(\mu ,{\sigma }^2)$ 的变量落在 $\mu -\sigma$ 和$\mu +\sigma$ 之间的概率。根据经验法则，我们知道这个概率大约是68%。

从数学上看，这个68%就是计算PDF在区间$[\mu -\sigma ,\mu +\sigma ]$ 上的积分：
$$P(\mu -\sigma \le X\le \mu +\sigma )={\int }_{\mu -\sigma }^{\mu +\sigma }\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{1}{2}{\left(\frac{x-\mu }{\sigma }\right)}^2}dx\approx 0.6827$$

---

五、概率密度函数与概率质量函数的区别

为了更好地理解PDF，我们把它和离散型变量的概率质量函数 做一个对比：

特性	概率质量函数（PMF）	概率密度函数（PDF）
适用变量	离散型随机变量	连续型随机变量
输出含义	直接是概率 ( P(X=x) )	是概率密度，不是概率
值的范围	值在 [0, 1] 之间	值可以大于1（只要面积不超过1即可）
计算概率	对特定点的值求和	对某个区间积分求面积
示例	掷骰子：P(X=3)=1/6	身高：P(174≤X≤176) = ∫PDF dx

总结

• 概率密度函数是连续随机变量的“身份证”，它完整地描述了该变量的概率分布规律。
• 核心要义：PDF的函数值表示概率密度，本身没有直接的概率意义，其曲线下的面积才代表概率。
• 作用：通过积分，我们可以求出变量落在任何一个区间内的概率。
• 类比：就像一根密度不均匀的棍子，PDF描述了不同位置的“密度”，而我们要知道某一段的“质量”，就需要对密度进行积分。