【概率论&统计学】复习笔记

1. 常见术语

Likelihood

南溪：我觉得

• 概率描述的是物理事件，而likelihood描述的是一个模型，两者依附的主体是不一样的；
• 似然函数并不是一个概率值，它其实是人类专家设定的一种可能性的评价指标。

Claude-3.5-Sonnet-200k：对，你理解得很深入！似然函数更像是一个“评分卡”，用来对比不同参数假设的相对合理性，而不是真实的概率值。

2. 符号和公式

$\mathcal{N}(\mu ,{\sigma }^2)$：正态分布，$\mu$指正态分布的均值，${\sigma }^2$是正态分布的方差

（这里的符号$\mathcal{N}$是大写字母N的手写体，具体可以参考这篇博文《LaTeX 各种命令，符号汇总（全）》，其中写到，
）

$p\left({\omega }_j,x\right)$：联合概率密度函数。指${\omega }_j$和x同时发生的概率密度。

2. 概率分布

2.1 PDF和PMF可以统称为概率分布

2.2 常见概率分布

Multivariate Normal Distribution 多元正态分布

设：

• $\mathbf{x}=[x_1,x_2,\dots ,x_n{]}^T$为变量向量，
• $\mathbf{\mu }=[{\mu }_1,{\mu }_2,\dots ,{\mu }_n{]}^T$ 为均值向量，
• $\Sigma$为协方差矩阵（描述变量间的相关性）。

多元正态分布的PDF为
$$f(\mathbf{x})=\frac{1}{\sqrt{(2\pi {)}^n|\Sigma |}}\exp \left(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\Sigma }^{-1}(\mathbf{x}-\mathbf{\mu })\right)$$

南溪：这里的上标$T$表示的是矩阵的“转置”（Transpose）运算。

3. 期望

3.1 全期望公式

$$E[X]=E[E[X\mid Y]]$$

3.1.1 条件概率的等效形式

$$E_X[X]=E_Y[E_{X\sim p(X\mid Y)}[X\mid Y]]$$

3. 采样

3.1 Importance Sampling：“从A采样估计B分布”

$\begin{array}{rl}{E}_{x\sim p(x)}[f(x)]& =\int p(x)f(x)dx\\ & =\int \frac{q(x)}{q(x)}p(x)f(x)dx\\ & =\int q(x)\frac{p(x)}{q(x)}f(x)dx\\ & =E_{x\sim q(x)}\left[\frac{p(x)}{q(x)}f(x)\right]\end{array}$

简单比喻：（from Gemini2.0-Flash-Thinking-ai）
“想象一下你要统计一个学校学生的平均身高（期望值）。 但是你不能直接接触到所有学生 (无法从目标分布p采样)，只能接触到学校篮球队的队员（只能从另一个分布q采样，篮球队员身高分布和全校学生身高分布不同）。重要性采样就像一种加权平均的方法，你统计篮球队员的平均身高，但同时根据篮球队员身高分布和全校学生身高分布的差异，给每个篮球队员的身高赋予不同的权重，从而近似估计出全校学生的平均身高。”