1.样本方差的公式推导

---

欢迎访问个人网络日志🌹🌹知行空间🌹🌹

---

样本方差的推导

有偏估计和无偏估计

• 有偏估计：由样本值求得的估计值与待估参数的真值之间有系统误差，估计值的期望不是系统的真值
• 无偏估计：估计量的偏差（或偏差函数）是此估计量的期望值与估计参数的真值之差。偏差为零的估计量或决策规则称为无偏的。

我们常见的应用中，样本均值是对总体均值的无偏估计$E(\bar{X})=\mu$，而样本的整体方差不是对总体方差的无偏估计,$E(S^2)=\frac{n}{n-1}{\sigma }^2$。

极大似然估计

“似然”用现代的中文来说即“可能性”，因此可称之为“最大可能性估计”，用来求一个样本集的相关概率密度函数的参数。

定义,假设$X$为离散随机变量，其概率分布函数$P(X=x)=f(x;\theta )$,与参数$\theta$相关。设$X_1,...,X_n$为样本，$x_1,...,x_n$为样本的观测值，样本的似然函数可以定义为样本观测值$x_1,...,x_n$的概率，

$$L(x_1,...,x_n;\theta )=P(X=x_1,...,X_n=x_n)=\prod _{i=1}^{n}f(x_i;\theta )$$

给定样本观测值$x_1,...,x_n$，似然函数$L$是参数$\theta$的函数，这个函数的目的就是求参数$\theta$,使似然函数$L$能取最大值。

例如,$X\sim B(1,p)$,从中取$[1,1,0,0,1]$观测值，此时似然函数$L(p)=p^3(1-p{)}^2,p\in (0,1)$,$B$表示是贝努力分布，要求$p$,就是求能使$L(p)$取最大值的值，$\frac{dL}{dp}=0$,可求得$p=0.6$。

大数定律

定义：设$X_1,...,X_n$是独立同分布的随机变量序列，并且其数学期望$E(X_k)=\mu (k=1,2,...)$，取n个样本的算术平均$\frac{1}{n}\sum _{k=1}^n{X}_k$,对任意的$ϵ>0$有以下不等式成立：

lim ⁡ n → + ∞ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ < ϵ } = 1 \lim_{n\rightarrow+\infty}P\{|\frac{1}{n}\sum\limits_{k=1}^{n}X_k-\mu|\lt \epsilon\}=1 n→+∞lim​P{ ∣n1​k=1∑n​Xk​−μ∣<ϵ}=1

简单来讲就是，样本均值的期望等于总体的均值。

中心极限定理

独立同分布的中心极限定理：设随机变量序列$X_{}$