46、概率中的期望及其运算规则

概率中的期望及其运算规则

一、期望的定义

在概率领域，期望是一个重要的概念。考虑一个函数 (f[x]) 以及定义在 (x) 上的概率分布 (Pr(x))，随机变量 (x) 的函数 (f[•]) 关于概率分布 (Pr(x)) 的期望值定义为：
[E_x\left[f[x]\right] = \int f[x]Pr(x)dx]
这意味着，在考虑到 (x) 取不同值的概率后，(f[x]) 的预期或平均值就是这个期望值。

当涉及到多个随机变量的函数 (f[•, •]) 时，期望的概念可以进行推广。对于两个随机变量 (x) 和 (y)，函数 (f[x, y]) 关于联合概率分布 (Pr(x, y)) 的期望值定义为：
[E_{x,y}\left[f[x, y]\right] = \iint f[x, y]Pr(x, y)dxdy]

通常情况下，如果分布的选择很明显，我们会省略下标，直接写成 (E[f[x]]) 而不是 (E_x[f[x]])。

另外，如果我们从 (Pr(x)) 中抽取大量的样本 ({x_i} {i = 1}^{I})，计算每个样本的 (f[x_i]) 值，然后取这些值的平均值，这个结果将近似于函数 (f[x]) 的期望值：
[E_x\left[f[x]\right] \approx \frac{1}{I}\sum {i = 1}^{I}f[x_i]]

下面用一个流程图来展示这个近似计算的过程：

graph LR
    A[从 Pr(x) 抽取大量样本 {x_i}] --> B[计算每