数理统计期末复习笔记（二）

数理统计期末复习笔记

主要内容：
贝叶斯估计，统计决策，偏差分析，线性回归

贝叶斯方法

基本概念

• 贝叶斯派的观点认为，概率就是信念

• 贝叶斯推断：$\theta$：作为随机变量，$X_1,...,X_n\sim p(x|\theta )$，后验$\sim$先验*似然，即$p(\theta |x_1,...,x_n)\sim p(\theta )\times p(x_1,...,x_n|\theta )$

  对$\theta$的贝叶斯估计：$\hat{\theta }=E(\theta |x)$

• 先验的构造：

  • 平坦先验：均匀分布，密度函数为常数；但是对于数据变换并不是不变的
  • Jeffery先验：先验对于fisher信息变换必须不变，即${\pi }_J(\theta )=(det(I_n(\theta )){)}^{1/2}$，这里I_n是用样本的似然$p(x|\theta )$求的；但是只有一维的时候比较高效
  • Reference先验：希望从先验中汲取到的信息最少：$p(\theta )={\mathrm{argmax}}_{\theta }{d}_{KL}(p(\theta ),p(\theta |x))$, $d_{\mathrm{KL}}(P\Vert Q)={\int }_{-\infty }^{\infty }p(x)\ln \frac{p(x)}{q(x)}\mathrm{d}x$；在一维下，Jeffery先验和reference先验相等
  • conjugate先验：选择先验使得和后验的分布一样；即寻找共轭组$F$使得先验和后验均在其中

• 贝叶斯置信区间：

  $P(\theta \in [L(U),C(U)]|X)=1-\alpha$

• 贝叶斯检验：

  贝叶斯检验同样建立在后验上。在检验中，比较$P(\theta \in {\Theta }_0|x)$和$P(\theta \in {\Theta }_1|x)$，哪个大就推断$\theta$满足哪个。（设定域的自由度降低了不少）

统计决策

基本概念

• 决策规则：$X$为分布$P$中随机产生的若干样本 根据$X$来决定若干行动，称为决策：$D:(X,F_X)\to (A,F_A)$, $F$：$\sigma$-域

  决策的估值：loss function$L(\theta ,a)$：在情况$\theta$下选择行动a的代价

  eg：平方损失函数，p-范数，0-1损失函数等

• 有些决策具有随机性，需要引入风险函数：$R(\theta ,a)=E_{\theta }L(\theta ,a)$（这里是指对$p(X|\theta )$求期望，因为$a$是根据$X$决定的）

  对于决策规则$A,B$，如果对任意$\theta$，A的选择的风险都不比B大，则称A至少和B一样好（互相=>等价）

  对于一族决策规则$\mathcal{T}$，决策规则$T^{\ast }$称为$\mathcal{T}$-最优的，如果它和任何其他决策都至少一样好

  对于一组决策规则$\mathcal{T}$，决策规则$T$称为$\mathcal{T}$-可采纳的（admissible），如果没有决策和它至少一样好

• Rao-blackwell定理：对于一个非随机策略$T_0$和凸的损失函数，考虑$H$为一个充分统计量，那么$T_1=E(T_0(x)|H)$一定至少和它一样好；因此只需要考虑仅和充分统计量有关的规则即可

对决策规则的进一步提升

• 最大最小风险

  最大最小估计：$R_n\triangleq {\inf }_{\hat{\theta }\in T}{\sup }_{\theta }R(\theta ,\hat{\theta })$

  即：在一族规则中，选择最大风险最小的那个

• 贝叶斯风险

  考虑先验$\pi$下贝叶斯风险为：$B_{\pi }(\hat{\theta })=\int R(\theta ,\hat{\theta })\pi (\theta )d\theta$，故贝叶斯估计：${\inf }_{\hat{\theta }\in T}{B}_{\pi }(\hat{\theta })$

  贝叶斯检验的性质：$\pi$为先验=>后验分布：$\pi (\theta |x)\sim p(x|\theta )\pi (\theta )$

  后验风险：考虑$r(\hat{\theta }|x)=\int L(\theta ,\hat{\theta })\pi (\theta |x)d\theta$

  定理：$\hat{\theta }(x)={\mathrm{argmin}}_{\theta }r(\hat{\theta }|x)$

  示例：$L=(\theta -\hat{\theta }{)}^2$：$\hat{\theta }$=$\pi (\theta |x)$的期望；$L=|\theta -\hat{\theta }|$：中位数；$L=0-1$：单峰

• 关联：拥有常数的风险函数的贝叶斯估计必然是最大最小估计

  应用：证明某个策略是最大最小估计：构造恰当的先验给出一个常数风险的贝叶斯估计

  注：最大似然估计MLE 渐近地是最大最小估计

偏差分析Analysis of Variance

• 对三组及以上的人群做偏差分析，对其差别做推断

单路ANOV（数据按照某个值分类）

• 模型：$Y_{ij}={\theta }_i+{ϵ}_{ij},i=1\sim I,j=1\sim n_i$，其中$E({ϵ}_{ij})=0,Var({ϵ}_{ij})={\sigma }_i^2$

  替代模型：$Y_{ij}=\mu +{\gamma }_i+{ϵ}_{ij}$，但是不是可确定（identifiable）模型，因为参数值和分布并不一一对应

  其它假设：

  • 方差齐性（homoscedasticity），即${\sigma }_i^2={\sigma }^2$，否则不好估计（如果无法满足，考虑使用box-cox变换：取$(y^{\lambda }-1)/\lambda$）
  • 正态性：${ϵ}_{ij}\sim N(0,{\sigma }^2)$

• ANOVA检验：

  希望检验：$H_0:{\theta }_1=....={\theta }_I$

  $S{S}_{TOT}={\sum }_i{\sum }_j(Y_{ij}-\overline{Y}{)}^2={\sum }_i{\sum }_j(Y_{ij}-{\overline{Y}}_{i\cdot }{)}^2+{\sum }_i{n}_i({\overline{Y}}_{i\cdot }-{\overline{Y}}_{\cdot \cdot }{)}^2=S{S}_W+S{S}_B$(w: within group, b: between group)

  推论：在方差齐性假设下：$E(S{S}_W)={\sum }_i(n_i-1){\sigma }^2,E(S{S}_B)={\sum }_i{n}_i({\theta }_i-\overline{\theta }{)}^2+(I-1){\sigma }^2$

  一个很常用的引理：$E(X_i)={\mu }_i,Var(X_i)={\sigma }^2$，则$E(X_i-\overline{X}{)}^2=({\mu }_i-\overline{\mu }{)}^2+\frac{n-1}{n}{\sigma }^2$

  因此：$E(S{S}_B)\ge (I-1){\sigma }^2$当且仅当零假设成立时取等

  推论：在方差齐性+正态+分组数量相同假设下：$S{S}_W/{\sigma }^2\sim {\chi }_{I(J-1)}^2,S{S}_B/{\sigma }^2\sim {\chi }_{I-1}^2$

  因此，我们得到一个F统计量：$F=\frac{S{S}_B/(I-1)}{S{S}_W/(J-1)I}$，在零假设下满足F分布，因此可以利用似然比方法构造测试

  另一种ANOVA：$T_a=\left|\frac{{\sum }_{i=1}{a}_i{\bar{Y}}_{i.}-{\sum }_{i=1}{a}_i{\theta }_i}{\sqrt{S_p^2{\sum }_{i=1}^k{a}_i^2/n_i}}\right|$，$T_a>k$则拒绝（？）

• ANOVA表格：计算ANOVA的标准方式

  方差来源	自由度	SS（方差和）	MS（平均方差）	F统计量
  组间	k-1	${\sum }_i{n}_i({\overline{Y}}_{i\cdot }-{\overline{Y}}_{\cdot \cdot }{)}^2$	SSB/(k-1)	MSB/MSW
  组内	N-k	${\sum }_i{\sum }_j(Y_{ij}-{\overline{Y}}_{i\cdot }{)}^2$	SSW/(N-k)
  总计	N-1	${\sum }_i{\sum }_j(Y_{ij}-\overline{Y}{)}^2$

• Kruskal-Wallis检验（非参数方法）

  如果数据并不满足正态分布，如何检验$H_0:$所有组的分布都相同？

  考虑将所有数据直接重新按照从小到大排列，记数据$Y_{ij}$在其中的顺序为$R_{ij}$，则$S{S}_B={\sum }_i{n}_i({\overline{R}}_{i\cdot }-{\overline{R}}_{\cdot \cdot }{)}^2$，其为$R$的分散程度的度量。SSB越大，则说明零假设越可能不成立。可以证明，在零假设下，$K=\frac{12}{N(N+1)}S{S}_B\sim {\chi }_{I-1}^2$，并且$P({\chi }_{I-1}^2>K)$即为一个K值

线性回归

线性回归是最早提出的统计方法之一，在AI,ML中均有广泛的使用

简单线性回归：

• 模型：使用样本$X,Y$预测$Y={\beta }_0+{\beta }_{1}X$

  $S_{xx}={\sum }_i(x_i-\overline{x}{)}^2$，$S_{yy}={\sum }_i(y_i-\overline{y}{)}^2$，$S_{xy}={\sum }_i(x_i-\overline{x})(y_i-\overline{y})$

  残差：$e_i=y_i-{\hat{y}}_i$，其中$\widehat{y_i}={\beta }_0+{\beta }_1{x}_i$为预测值

  ${\beta }_0,{\beta }_1$最小化残差平方和：$RSS={\sum }_i{e}_i^2$，可以解得${\hat{\beta }}_1=\frac{S_{xy}}{S_{xx}}$，$\widehat{{\beta }_0}=\overline{y}-\widehat{{\beta }_1}\overline{x}$，称为BLUE（best linear unbiased estimator）

  同理，如果假设$x={\tilde{\beta }}_0+{\tilde{\beta }}_{1}y$，则可以解得${\tilde{\beta }}_1=\frac{S_{xy}}{S_{yy}}$，$\widetilde{{\beta }_0}=\overline{x}-\widetilde{{\beta }_1}\overline{y}$

• 模型：假设样本满足分布：$Y={\beta }_0+{\beta }_{1}X+{ϵ}_i,{ϵ}_i\sim N(0,{\sigma }^2)$

  其MLE恰好就是LSE

  在这个模型下的计算往往将X_i看做常数，采用对变量Y_i的分解计算，因为Y_i的基本信息是清楚的，而且互相独立

  $E(RSS)=(n-2){\sigma }^2$，故$S^2=\frac{RSS}{n-2}$是${\sigma }^2$的无偏估计，${\hat{\beta }}_0\sim N({\beta }_0,\frac{{\sigma }^2}{n{S}_{xx}}{\sum }_i{x}_i^2)$，${\hat{\beta }}_1\sim N({\beta }_1,\frac{{\sigma }^2}{S_{xx}})$，$\mathrm{Cov}\left({\hat{\beta }}_0,{\hat{\beta }}_1\right)=-\frac{{\sigma }^2\bar{x}}{S_{xx}}$；$S^2$与${\hat{\beta }}_0,{\hat{\beta }}_1$独立，有$\frac{(n-2)S^2}{{\sigma }^2}\sim {\chi }_{n-2}^2$

  如果需要检验${\beta }_1$是否为0，则${\hat{\beta }}_1$的分布可以帮助构造一个估计：$t=\frac{{\hat{\beta }}_1}{S^2/S_{xx}}\sim t_{n-2}$，t为学生t分布

• 模型的准确性检验：

  为了检验线性回归到底能否准确表现原问题的结果，一般使用两个统计量

  • RSE$:=\sqrt{\frac{RSS}{n-2}}$（residual standard error）

  • $R^2$：注意到${\sum }_{i=1}^n{\left(y_i-\bar{y}\right)}^2=SST=SSR+SSE={\sum }_{i=1}^n{\left({\hat{y}}_i-\bar{y}\right)}^2+{\sum }_{i=1}^n{\left(y_i-{\hat{y}}_i\right)}^2$，注意：这里的$SSE=RSS$

    因此，$R^2=\frac{SSr}{SST}=\frac{{\sum }_i(\widehat{y_i}-\overline{y}{)}^2}{{\sum }_i(y_i-\overline{y}{)}^2}$，所以，$R^2$越接近1，SST中可以被回归模型解释的部分就越多。

    注：可以证明：$R^2=\frac{S_{xy}^2}{S_{xx}{S}_{yy}}$

• 模型的预测：

  对于任意$x$，模型的预测值${\hat{\beta }}_0+{\hat{\beta }}_1{x}_0\sim N({\beta }_0+{\beta }_1{x}_0,{\sigma }^2(\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{S_{xx}}))$. 考虑到$S^2=RSS/(n-2)$是${\sigma }^2$的无偏估计，并且$\frac{(n-2)S^2}{{\sigma }^2}\sim {\chi }_{n-2}^2$，因此$$\frac{{\hat{\beta }}_0+{\hat{\beta }}_1{x}_0-\left({\beta }_0+{\beta }_1{x}_0\right)}{S\sqrt{\frac{1}{n}+\frac{{\left(x_0-\bar{x}\right)}^2}{S_{xx}}}}\sim t_{n-2}$$

  因此，对于要预测的${\beta }_0+{\beta }_1{x}_0$，一个$1-\alpha$的置信区间为$${\hat{\beta }}_0+{\hat{\beta }}_1{x}_0\pm t_{n-2,1-\alpha /2}S\sqrt{\frac{1}{n}+\frac{{\left(x_0-\bar{x}\right)}^2}{S_{xx}}}$$

  同理，如果要对一群样本做confidence interval，将$1-\alpha /2\to 1-(\alpha /2m)$即可

  该方法可以推广出更加一般的统计量：$$P\left(\underset{t}{\max }\frac{{\left(\left(\bar{Y}-{\mu }_{\bar{Y}}\right)+\left({\hat{\beta }}_1-{\beta }_1\right)t\right)}^2}{S^2\left(\frac{1}{n}+\frac{t^2}{S_{\mathrm{x}}}\right)}\le M_{\alpha }^2\right)=1-\alpha$$, $M_{\alpha }=\sqrt{2F_{2,n-2,1-\alpha }}$

多元线性回归

• p个观测值：$y_i={\beta }_0+{\beta }_1{X}_{i1}+...+{\beta }_p{X}_{ip}+{ϵ}_i$，即：$Y=X\beta +ϵ$，其中$X=(1,x_{ij})$

  $RSS(\beta )=(y-X\beta {)}^T(y-X\beta )$，从而$\hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}y$，如果不满秩则取广义逆

  $E(X^{T}AX)=Tr(A\Sigma )+{\mu }^{T}A\mu ,Cov(\hat{\beta })={\sigma }^2(X^{T}X{)}^{-1}$

  残差向量：$$\hat{e}=(I-H)Y$$, $H=X(X^{T}X{)}^{-1}{X}^T$为Y到$spanX$上的投影算子

  $E(RSS)=E({\hat{e}}^T\hat{e})=E(Y^T(I-H)Y)=(E(Y){)}^T\left(I-H\right)E(Y)+{\sigma }^2(n-p)$

  预测值：$\hat{y}=X\hat{\beta }=Hy$；即使$X^{T}X$奇异，预测出来的值依然是一样的

  检验：${\beta }_1=...={\beta }_p=0$（这里不管${\beta }_0$），则一个F测试为：$$\frac{(TSS-RSS)/p}{RSS/(n-p-1)}$$，$F$接近1时为$H_0$，否则为$H_1$

  检验：${\beta }_{p-q+1}=...={\beta }_p=0$，则一个F测试为：$\frac{(RS{S}_0-RSS)/q}{RSS/(n-p-1)}$，其中$RS{S}_0$为不用后q个变量做回归后的RSS

线性回归的常见问题

• ${ϵ}_i$之间并不无关

  检测： 绘制纵轴$e_i$横轴${\hat{y}}_i$的散点图并观察图式是否随机

  解决：

• 数据的真实关系并非线性

  检测： 绘制纵轴$e_i$横轴${\hat{y}}_i$的散点图并观察期望是否接近0

• $Var({ϵ}_i)\ne {\sigma }^2$

  检测：绘制纵轴$e_i$横轴${\hat{y}}_i$的散点图并观察与0的距离是否均匀

  解决：$y\to \log y$

• 异常数据

  检测：对数据做studentize：leverage：$h_{ii}$为投影矩阵H的对角线上第i个元素。注意：$H^{T}H=H$，从而$h_{ii}={\sum }_j{h}_{ij}^2=\frac{1}{n}+\frac{(x_i-\overline{x}{)}^2}{{\sum }_j(x_j-\overline{x}{)}^2}$，再定义$t_i=\frac{\widehat{{ϵ}_i}}{\hat{\sigma }\sqrt{1-h_{ii}}}$，其中${\hat{\sigma }}^2=\frac{{\sum }_j\widehat{{ϵ}_j^2}}{n}$，绘制$(h_{ii},t_i)$的散点图即可找到异常

• 同线性（不同的X值（predictor）之间可能相关）

  检测：VIF（variance influence factor）

  $VI{F}_k=\frac{1}{1-R_k^2}$，其中$R_k^2$为用其它所有变量对$x_k$做回归得到的回归的R值，如果趋近于1则可认为独立，如果大于5左右则有关

  解决：丢掉一个相关度过高的变量/合并两个相关变量

• y不连续

  此时不能做线性回归，因为可解释性太差

  • 逻辑思谛回归：(y二值)

    对$logit(p(X))={\beta }_0+{\beta }_{1}X$做线性回归，用MLE求解方程；预测$x$的概率：$\hat{p}(Y=1|x)=\frac{e^{\widehat{{\beta }_0}+\widehat{{\beta }_1}x}}{1+e^{\widehat{{\beta }_0}+\widehat{{\beta }_1}x}}$

  • 线性分辨

    先估计$P(X=k|Y=j)$，再用贝叶斯法则计算$P(Y=j|X=k)$，贝叶斯分类器：输出$k={\mathrm{argmax}}_{j}P(Y=j|X=k)$， 如果已知模型，则可以考虑使用MLE来估算

    混淆矩阵：列出预测和真实的正确对应关系（类似假设检验）=>specificity：对的预测对的比例；sensitivity：错的预测错的比例。两个都是越高越好，但是很难同时高；但是在二元情形可以通过修改判断为对的阈值来计算

  • KNN（k-近邻）

    直接观察一个点的最近的k个邻居的频率，然后模仿最高的频率；距离度量：Mink距离，cosine距离等等

    优势：容易执行，超参数少

    缺点：过拟合，维度灾难，对内容占用巨大

常用分布：

• 指数组分布

  标准形式：p(x∣θ)=h(x)c(θ)exp⁡{∑j=1kuj(θ)tj(x)}p(x|\theta)=h(x)c(\theta)\exp\{\sum_{j=1}^k u_j(\theta)t_j(x)\}p(x∣θ)=h(x)c(θ)exp{∑j=1k​uj​(θ)tj​(x)}

  性质：若$\Omega =T(x)$包含一个${\mathbb{R}}^k$中的开集，则$T(x)=({\sum }_{i=1}^n{t}_1(x_i),...,{\sum }_{i=1}^n{t}_k(x_i))$是一组完全+充分统计量

  常见的指数组：

  • 指数分布：$p(x|\lambda )=\lambda e^{-\lambda x}$，则$h(x)=1,c(\lambda )=\lambda ,u_1(\lambda )=\lambda ,t_1(x)=-x$

    完全统计量：${\sum }_i{x}_i$，期望$1/\lambda$，方差$1/{\lambda }^2$

    n个指数分布的和：$\Gamma (n,\lambda )$

  • 正态分布：$p(x|\sigma ,\mu )=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$，则$h(x)=1/\sqrt{2\pi },c(\sigma ,\mu )=1/\sigma e^{-{\mu }^2/{\sigma }^2},u_1(\sigma ,\mu )=1/2{\sigma }^2,t_1(x)=x^2,u_2(\sigma ,\mu )=\mu /{\sigma }^2,t_2(x)=x$

    完全统计量：$({\sum }_i{x}_i,{\sum }_i{x}_i^2)$，期望$\mu$，方差${\sigma }^2$

  • 泊松分布：$p(x|\lambda )=\frac{{\lambda }^x}{x!}{e}^{-\lambda }$

    完全统计量：${\sum }_i{x}_i$，期望$\lambda$，方差$\lambda$

  • 二项分布：$p(x|\theta )=(\genfrac{}{}{0ex}{}{n}{x}){\theta }^x(1-\theta {)}^{n-x}$

    完全统计量：${\sum }_i{x}_i$，期望$np$，方差$np(1-p)$

• Beta分布：$Beta(\alpha ,\beta ):p(\theta )={\theta }^{\alpha -1}(1-\theta {)}^{\beta -1}\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )},0\le \theta \le 1$，期望：$\frac{\alpha }{\alpha +\beta }$，方差：$\frac{\alpha \beta }{(\alpha +\beta {)}^2(\alpha +\beta +1)}$

• Gamma分布：$\Gamma (r,\lambda )=\frac{{\lambda }^r}{\Gamma (\lambda )}{x}^{r-1}{e}^{-\lambda x},x\ge 0$，$E=r{\lambda }^{-1},V=r{\lambda }^{-2}$

• 卡方分布：$=\Gamma (\frac{n}{2},\frac{1}{2})$，即n个iid的标准正态分布的平方和

• 学生t分布：$X_1,...,X_n\sim N(\mu ,{\sigma }^2)$，则$\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$，但是$\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t_{n-1}$

• F分布：对于两个自由度为$d_1,d_2$的卡方分布$U_1,U_2$，$F(d_1,d_2)\sim \frac{U_1/d_1}{U_2/d_2}$

• 多元正态分布：$f_{\mathbf{x}}\left(x_1,\dots ,x_k\right)=\frac{1}{\sqrt{(2\pi {)}^k|\mathbf{\Sigma }|}}{\mathrm{e}}^{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })}$

常用概念：

• 大数定律：$\overline{X}\stackrel{a.s.}{\to }EX$ 中心极限定理：$\overline{X}\stackrel{d}{\to }N(EX,\frac{Var(X)}{n})$

• 随机变量的函数：$f_Y(y)=\{\begin{array}{ll}{f}_X\left[g^{-1}(y)\right]\left|\frac{\mathrm{d}}{\mathrm{d}y}{g}^{-1}(y)\right|& \text{ if }\exists x,s.t.y=g(x)\\ 0& \forall x,y\ne g(x)\end{array}$

• 随机向量的函数：

  和的分布：卷积：$q(y)=\int p_1(u)p_2(y-u)du$

  顺序统计量的分布：P{ξn∗<x}=[F(x)]nP\{\xi_n^*<x\}=[F(x)]^nP{ξn∗​<x}=[F(x)]n，${\xi }_1,{\xi }_n$的联合密度$q(x,y)=\{\begin{array}{r}0x\ge y\\ n(n-1)[F(y)-F(x){]}^{n-2}p(x)p(y)else\end{array}$

• $E(aX)=aE(X)$, $Var(aX)=a^{2}Var(X)$