均匀分布 卡方分布_高等数理统计—第一章 统计分布基础

才疏学浅，关于数理统计的很多内容仅流于表面，望读者不吝赐教。

第一章 统计分布基础

本章除指数分布族、

分布本科一般不学之外，其余基本上都是很简单的内容。

已故的陈希孺院士在《高等数理统计学》一书的序中写到：“多做习题，尤其是多做难题，对掌握并熟练数理统计学基本的论证方法和技巧，有着不可替代的重要性”。陈院士的《高等数理统计学》六百多页厚厚的一本书，有近一半的内容是习题与解答，可见对其重视，望大家在学习的过程中牢记做题的重要。

1.1 基础理论及方法

1.1.1 统计结构

数据(客观存在)

样本(抽象出的对象)

样本最常见的形式为随机向量

，样本的取值空间称为

样本空间。

确定样本的概率分布是整个统计中最关心的问题。

通常，样本的真实分布未知，但可以确定一个合理的范围（分布集合），真实的概率分布就在其中，该分布集合即为概率分布族。

二元体（样本，样本的概率分布族）

样本空间记作

或

, 为了与概率论区分，我们用

来表示。将样本空间中的某些子集组成的

域 (也叫事件域) 记作

, 由此可以得到一个可测空间

,样本的概率分布族就是该可测空间上的概率分布族，用

表示。

三元体（

）

定义 设

为可测空间，

为

上的一族概率测度（

为指标集也叫参数空间）,称三元体

为一个

统计结构或统计模型。

称取值于

上的随机元

为

样本

称

中的每一个成员

为一个

总体

因此我们统计上常有这样的说法：

为来自总体的容量为

的简单样本，总体的概率密度函数为

.

1.1.2 常用公式

矩母函数：随机变量

,若存在某正实数

，使得对于区间

中的每一实数

，数学期望

均存在，则称

为随机变量

或其分布的

矩母函数(mgf)。

最常用的是:

特征函数：就写个函数形式吧，可能暂时也用不着

,其中

是虚数

矩母函数和特征函数与随机变量的概率分布唯一确定。

两个常用的条件期望：

1.1.3 经验分布函数

考虑独立同分布的样本

,给定

,记

表示

中小于

的个数，概率

可用频率

来逼近。即：经验分布函数定义为

，也可表示为

.

由大数定律可知，对任意

,总有

.这表明只要

越来越大，样本的经验分布函数

可以越来越接近总体分布函数

.此外，还有比大数定律更强的结论：

格里汶科定理：对任意给定的正整数

,设

是取自总体分布函数

的一个样本观察值，

为其经验分布函数，记

,则有

.

1.2 常用分布及指数族分布

常用分布间的关系（图侵删）

1.2.1 常用离散分布

两点分布（ Bernoulli 伯努利分布）

仅取0,1两个值：

.

密度函数为

二项分布

二项分布可以表示为独立同分布的两点分布之和。

密度函数为

可加性：

且独立，则

负二项分布

表示

次成功所经历的失败的次数,该分布使用次数较少，后续若有用到我们再详解介绍

Poisson分布（泊松分布）

密度函数为

基本性质：（1）

（2）可加性：若

且相互独立，则

1.2.2 常用连续分布

均匀分布

密度函数

指数分布

密度函数

正态分布

密度函数

对数分布

研究随机分析必学，就是将随机变量取对数后，服从正态分布。

分布（卡方分布）

卡方分布由

个独立同分布的

标准正态分布的平方和构成，密度函数我们一般不用，

分布

且独立,密度函数我们一般也不用，

,与其他分布的关系

(根据其构造就可以看出来)，此外当

.

分布

且独立，

方差一般不用

分布（伽马分布）

伽马分布和我们上述提到的分布都多少会有些联系.

密度函数

两种密度函数本质都是一个，区别仅在于

互为倒数,我们以前者为准。

称为形状参数，

称为尺度参数

与其他分布的关系：（1）

（2）

（3）

可加性：

1.2.3 指数族分布

指数族分布 不是 指数分布族，切记

定义：

称为

指数族分布，若其密度函数可以表示为：

其中,

为非负可测函数，若

和

分别线性无关，则称指数族为极小、满秩的。

上述的线性无关是参数可识别的必需条件。

例1：正态分布

,

密度函数展开后为

其中

很明显可以看到，

的形式不唯一，可以自由安排常数系数的位置

指数族的自然形式

定义：

，其密度函数可以表示为：

其中,

,则称其为自然形式的指数族，若

线性无关，则称指数族为极小、满秩的。

其实看上去没啥太大区别对吧，很多教材上也没有说为什么，或者说了但是没说明白。为此翻阅了陈希孺院士的《高等数理统计》，其中是这么说的，参数空间

中每一元

都满足（1）式，，但

不一定包含了全部满足（1）式的

。因此全部这样的

构成一集合

,它是该指数族参数空间可能最大的扩充，称为该指数型分布族的

自然参数空间。因此也就有了（2）的自然形式的指数族。

关于自然参数形式我们补充两个定理：

定理1.1 设分布族的概率密度函数由（2）式给出，若参数空间

包含内点，则统计量

就是一个完全充分统计量。

参照那汤松《实变函数论》里对内点的定义，我们总结一个不是那么严谨但是够用的结论：开区间里的点都是它的内点，因此在进行了线性变换后得到的

若是开集，那就必然包含内点，进而在

线性无关的前提下，

是完全充分统计量。

定理1.2 设分布族的概率密度函数由（2）式给出，设

且为

的一个内点，

为样本空间

上的一个函数，若当

在

的某个邻域内时数学期望

存在，那么作为

的函数，

在

的某个邻域内关于

可求任意阶(偏)导数，且可以在积分号下求偏导数。我们有以下结果：

例2：设

独立同分布，均服从参数为

的对数正态分布，即

，概率密度函数为

,易看出样本的概率密度为：

其中参数空间为

.

对于样本的概率密度函数，可以写成

,这里写的是指数族分布的普通形式，与（1）式对应。其中

存在参数变换

,使得

,在变换

下原参数空间与值域

是重合的。

由此，分布族的自然参数形式为

,这里的

,利用式(3)给出的计算方法,我们有

以及

,

其中

,因此我们得到

这个例子非常典型。

1.3 次序统计量

这个在基础的数理统计上有，这里简单的回顾一下

基本分布：记

的分布密度为

推论:最小值和最大值的分布密度函数分别为：