15、利用极限定理进行概率和矩的近似

利用极限定理进行概率和矩的近似

1. 引言

在处理随机变量时，我们通常会使用离散随机变量的概率质量函数（PMF）和连续随机变量的概率密度函数（PDF）来确定事件的精确概率，同时也会使用相应方法来确定这些随机变量的矩。这些过程都依赖于对 PMF/PDF 的了解以及求和/积分的操作。然而，在许多实际情况中，PMF/PDF 可能是未知的，或者求和/积分操作可能难以进行。因此，能够使用更简单的方法来近似所需的量就显得非常有用。对于由大量独立同分布（IID）随机变量之和构成的随机变量，我们可以实现这种近似。本文将重点讨论概率论中的两个强大定理：大数定律和中心极限定理。

大数定律表明，样本均值随机变量（即 IID 随机变量的平均值）会收敛到每个随机变量的期望值。它也被通俗地称为平均定律，并且为概率的相对频率解释提供了依据。中心极限定理则指出，经过适当归一化的 IID 随机变量之和会收敛到一个高斯随机变量。

这两个定理实际上是更一般结果的最简单形式，它们可以被推广用于处理非相同分布的随机变量之和以及相关随机变量之和。

2. 收敛与求和的近似

在处理大量随机变量之和时，我们需要先回顾一些收敛的概念，特别是要理解收敛在近似求和行为中所起的作用。以确定以下求和的值为例：
[S_N=\sum_{i = 1}^{N}\frac{1}{1 + a^i}]
其中 (N) 是一个较大的值。我们特意选择了一个可以闭式求解的求和，以便与它的近似值进行比较。其精确值可以通过以下方式求得：
[S_N=\sum_{i = 1}^{N}\frac{1}{1 + a^i}]
不同 (N) 值下 (S_N) 的示例见图 1。为了便于观察，我们用直线连接了