欢迎来到道的世界

这里的“接受”或“拒绝”一个假设的行为，只是反映了当事者在给定样本之下对该命题所采取的一种态度，一种行为，而不是从逻辑上或理论上“证明”该命题正确与否。由于不能同时控制一个检验的犯第一类，第二类错误的概率，在此背景下，会采取折中的方案，通常的作法是仅限制犯第一类错误的概率，这就是费希尔的显著性检验，显著性水平。由于样本是随机的，故当应用某种检验做判断时，可能做出正确的判断，也可能做出错误判断。做出接受或拒绝的决策。就是一个检验统计量，因为要检验的假设是正态总体均值，在方差已知的场合，样本均值。...

 在微积分中，积分基本定理告诉我们怎样定义积分，具体形式如下所示∫abF′(x)dx=F(b)−F(a)\int_a^b F^{\prime}(x)dx=F(b)-F(a)∫ab​F′(x)dx=F(b)−F(a)则向量场的路径积分定理如下所示：假定CCC是一个平滑的曲线...

E[∂∂θlog⁡f(X;θ)∣θ]=∫R∂∂θf(x;θ)f(x;θ)f(x;θ)dx=∂∂θ∫Rf(x;θ)dx=∂∂θ1\begin{aligned}&\mathbb{E}\left[\left.\frac{\partial }{\partial \theta}\log f(X;\theta)\right|\theta\right]\\=&\int_{\mathbb{R}}\frac{\frac{\partial}{\partial \theta}f(x;\theta)}{f(x;\t

 设二维随机变量(X,Y)(X,Y)(X,Y)的联合密度函数为p(x,y)p(x,y)p(x,y)，如果函数{u=g1(x,y)v=g2(x,y)\left\{\begin{aligned}u&=g_1(x,y)\\v&=g_2(x,y)\end{aligned}\right.{uv​=g1​(x,y)=g2​(x,y)​有连续偏导数，且存在唯一的反函数{x=x(u,v)y=y(u,v)\left\{\begin{aligned}x&=x(u,v)\\y&=y(u,v)\en

 在常微分方程和偏微分方程以及有关物理问题中，常用到形如∫abf(x,y)dx\int_a^b f(x,y)dx∫ab​f(x,y)dx的积分，其中变量yyy和积分变量xxx没有关系，在积分的过程中视为常量，yyy叫做参变量，则可知积分值是yyy的函数：I(y)=∫abf(x,y)dxI(y)=\int_a^b f(x,y)dxI(y)=∫ab​f(x,y)dx本文以下目的是要研究函数I(y)I(y)I(y)的性质，例如，连续性，可微性等等。 定理1： 若函数f(x,y)f(x,y)f(x,y)在闭矩形

引言 概率不等式是概率论和数理统计的理论研究中的重要工具，对于概率极限理论和统计大样本理论，几乎所有重要结果的论证是借助于概率不等式的巧妙应用，Jensen\mathrm{Jensen}Jensen不等式和证明，并应用其带来解决一些相关问题。Jensen\mathrm{Jensen}Jensen不等式不同形式 Jensen\mathrm{Jensen}Jensen不等式的形式有很多种，标准形式的如下：Jensen\mathrm{Jensen}Jensen不等式： 如果f(x)f(x)f(x)为连.

线性规划弱对偶性 给定矩阵A∈Rm×nA\in \mathbb{R}^{m\times n}A∈Rm×n，向量x,c∈Rnx,c\in \mathbb{R}^nx,c∈Rn，向量b,y∈Rmb,y\in \mathbb{R}^mb,y∈Rm，则有如下线性规划min⁡x{c⊤x∣Ax=b,x≥0}\min\limits_{x}\{c^{\top}x|Ax=b,x\ge 0\}xmin​{c⊤x∣Ax=b,x≥0}其中x∗x^{*}x∗为以上线性规划的最小值，其对偶形式表示为max⁡y{b⊤y∣A⊤y≤c}\

1 矩量母函数 矩量母函数又称矩母函数（Moment Generating Function）又称动差生成函数，是一种构造函数，其定义为：随机变量XXX是连续型随机变量时，其矩量母函数为：MX(t)=E(etX)=∫−∞+∞etxf(x)dxM_X(t)=\mathrm{E}(e^{tX})=\int_{-\infty}^{+\infty}e^{tx}f(x)dxMX​(t)=E(etX)=∫−∞+∞​etxf(x)dx随机变量XXX是离散型随机变量时，其矩量母函数为：MX(t)=E(etX)=∑xi

1 条件期望定义1（条件期望）：给定随机变量XXX和YYY，则有如下条件期望E[X]=E[E[X∣Y]]\mathrm{E}[X]=\mathrm{E}\left[\mathrm{E}[X|Y]\right]E[X]=E[E[X∣Y]]如果YYY是离散随机变量，则有E[X]=∑yE[X∣Y=y]P{Y=y}\mathrm{E}[X]=\sum\limits_{y}\mathrm{E}[X|Y=y]\mathrm{P}\{Y=y\}E[X]=y∑​E[X∣Y=y]P{Y=y}如果YYY是密度为fY(y)f

随机变量乘积的期望E[x1,x2]=E[x1]⋅E[x2]+Cov(x1,x2)\mathbb{E}[x_1,x_2]=\mathbb{E}[x_1]\cdot \mathbb{E}[x_2]+\mathrm{Cov}(x_1,x_2)E[x1​,x2​]=E[x1​]⋅E[x2​]+Cov(x1​,x2​)随机变量乘积的方差

 设曲面方程为Σ:F(x,y,z)=0\Sigma: F(x,y,z)=0Σ:F(x,y,z)=0，在曲面上任取一条通过点M0(x0,y0,z0)M_0(x_0,y_0,z_0)M0​(x0​,y0​,z0​)的曲线Γ:{x=φ(t)y=ψ(t)z=ω(t),\Gamma:\left\{\begin{aligned}x&=\varphi(t)\\y&=\psi(t)\\ z&= \omega(t)\end{aligned}\right.,Γ:⎩⎪⎨⎪⎧​xyz​=φ(t)=ψ(t)=

更新过程 设X1,X2,⋯X_1,X_2,\cdotsX1​,X2​,⋯是独立同分布的非负随机变量序列，它们的分布函数为F(t)F(t)F(t)，均值为μ\muμ，且满足P{Xn=0}<1P\{X_n=0\}<1P{Xn​=0}<1。令S0=0Sn=X1+X2+⋯+Xn,n=1,2,⋯\begin{aligned}S_0&=0\\S_n&=X_1+X_2+\cdots+X_n,\quad n=1,2,\cdots\end{aligned}S0​Sn​​=0=X1​+X2​

预备知识定义（Hermite矩阵定义）：复矩阵A=[aij]∈MnA=[a_{ij}]\in M_nA=[aij​]∈Mn​称为Hermite矩阵，是指A=A∗A=A^{*}A=A∗，其中A∗≡Aˉ≡[aˉji]A^{*}\equiv \bar{A}\equiv [\bar{a}_{ji}]A∗≡Aˉ≡[aˉji​]。如果A=−A∗A=-A^{*}A=−A∗，则称之为斜Hermite矩阵。Weyl不等式定理（Weyl不等式）：设AAA,B∈MnB\in M_nB∈Mn​是Hermite矩阵，又.

无约束坐标下降法 坐标下降法即在目标函数每一次迭代沿着一个坐标分量方向最小化。这不仅简化了搜索方向的计算，而且经常使得步长选择变得容易，因为沿着分量方向的线性最小化相对容易求得。在这个算法中，坐标的顺序是变化的。由下图所示，给定xk,xk+1x^k,x^{k+1}xk,xk+1的第iii个分量由下式给出xik+1∈arg⁡min⁡ξ∈ℜf(x1k+1,⋯ ,xi−1k+1,ξ,xi+1k,⋯ ,xnk)x_i^{k+1}\in \arg \min_{\xi \in \Re} f(x_1^{k+1},\cd

定义1（次微分）给定开集Ω⊂Rd\Omega \subset \mathbb{R}^dΩ⊂Rd和凸函数u:Ω→Ru:\Omega \rightarrow \mathbb{R}u:Ω→R，对任意的x∈Ωx\in \Omegax∈Ω，定义uuu在点xxx的次微分（subdifferential）为∂u(x):={p∈Rd:u(z)≥u(x)+⟨p,z−x⟩,∀z∈Ω}.\partial u(x):=\{p\in \mathbb{R}^d:u(z)\ge u(x)+\langle p, z-x\rangle, .

拉普拉斯变换  设f(t)f(t)f(t)为定义在[0,+∞)[0,+\infty)[0,+∞)上的实变函数或复值函数，若含s=σ+iws=\sigma+i ws=σ+iw（σ\sigmaσ，www为实数）（σ>0\sigma>0σ>0）复变量的积分∫0∞f(t)e−stdt∫0∞∣f(t)e−σt∣dt<∞\int_{0}^{\infty}f(t)e^{-st}dt\quad \quad \int_{0}^{\infty}\left|f(t)e^{-\sigma t}\rig.

 设实矩阵A\boldsymbol{A}A的各阶主子式∣Aii∣≠0(i=1,2,⋯ ,n)|\boldsymbol{A}_{ii}|\ne 0(i=1,2,\cdots,n)∣Aii​∣​=0(i=1,2,⋯,n)，则可以对A\boldsymbol{A}A进行如下分解：A=LU\boldsymbol{A}=\boldsymbol{LU}A=LU其中，L\boldsymbol{L}L为主对角元素全为1的下三角矩阵（即单位下三角矩阵），U\boldsymbol{U}U为上三角矩阵，称这种分解为矩阵的三角分解

概率密度函数  截断正态分布的定义可以分为两步，给定一个参数为μ\muμ和σ2\sigma^2σ2的标准正态分布的概率密度函数。修标准般正态分布相关的概率密度函数，通过将范围外的值设置为零，并标准正态的取值范围均匀缩放到特定范围中，使总积分为1。截断范围可以分为四种情况：（1）无截断的情况：−∞=a,b=+∞-\infty=a,\quad b=+\infty−∞=a,b=+∞；（2）下界截断的情况：−∞<a,b=+∞-\infty<a,\quad b=+\infty−∞<a,b=+∞

引言 在实际应用中，多元正态分布中均值向量，和协差阵。通常是未知的，需由样本来估计，而参数的估计方法很多，这里用最常见的最大似然估计法给出其估计量，并借助一元统计中学过的估计量性质指出这里给出的估计量也满足通常要求的性质。多元样本的概念及表示法 多元分析研究的总体是多元总体，从多元总体中随机抽取nnn个个体X(1),X(2),⋯ ,X(n)X_{(1)},X_{(2)},\cdots,X_{(n)}X(1)​,X(2)​,⋯,X(n)​，若X(1),X(2),⋯ ,X(n)X_{(1)},X_{(2)

引言 正态分布是19世纪德国科学家Gauss（1777—1855）在研究单个测量误差ε\varepsilonε的分布时导出一元正态分布N(0,σ2)N(0,\sigma^2)N(0,σ2)，而多元正态是由多个测量误差的联合分布导出的Np(μ,ε)N_p(\mu,\varepsilon)Np​(μ,ε)。多元正态分布在多元统计分析中所占的重要地位，如同一元统计分析中一元正态分布所占的重要地位一样，多元统计分析中的许多重要理论和方法都是直接或间接建立在正态分布的基础上，多元正态分布是多元统计分析的基础，同时它

定义1： 设f(x),f1(x),f2(x),⋯ ,fk(x),⋯f(x),f_1(x),f_2(x),\cdots,f_k(x),\cdotsf(x),f1​(x),f2​(x),⋯,fk​(x),⋯是可测集EEE上几乎处处有限的可测函数，若对于任意给定的ε>0\varepsilon > 0ε>0，有lim⁡k→∞m(E∣fk−f∣>ε)=0,\lim\limits_{k \rightarrow \infty}m(E|f_k -f|> \varepsilon)=0,k→∞l.

定义1： 设f(x),f1(x),f2(x),⋯ ,fk(x),⋯f(x),f_1(x),f_2(x),\cdots,f_k(x),\cdotsf(x),f1​(x),f2​(x),⋯,fk​(x),⋯是定义在点集EEE上的实值函数。若对于任意ε>0\varepsilon > 0ε>0，存在K∈NK \in \mathbb{N}K∈N，使得对于任意k≥Kk \ge Kk≥K，任意x∈Ex \in Ex∈E，有∣fk(x)−f(x)∣<ε,|f_k(x)-f(x)|<\vare.

定义1（内积空间）： 设XXX是域K\mathbb{K}K上的线性空间，其中记K\mathbb{K}K是复数域C\mathbb{C}C或实数域R\mathbb{R}R，XXX上的一个二元函数a:X×X→Ka:X \times X \rightarrow \mathbb{K}a:X×X→K称为一个内积，如果：（1）a(αx+βy,z)=αa(x,z)+βa(y,z)a(\alpha x+ \beta y,z)=\alpha a(x,z)+\beta a(y,z)a(αx+βy,z)=αa(x,z)+βa(.

定义1： 设fff是XXX上的实函数，若∀t∈R\forall t \in \mathbb{R}∀t∈R，集合X(f>t)X(f>t)X(f>t)是F\mathcal{F}F可测集，则称fff为XXX上的F\mathcal{F}F可测函数，简称可测函数。定理1： 设fff是XXX上的实函数，则以下条件等价。（1）f∈Mf\in \mathcal{M}f∈M；（2）∀t∈R\forall t \in \mathbb{R}∀t∈R，X(f≥t)X(f\ge t )X(f≥t)是可测.

定理1： 若f(x),g(x)f(x),g(x)f(x),g(x)是EEE上的可测函数，则cf(x)(c∈R)cf(x)(c\in \mathbb{R})cf(x)(c∈R)，f(x)g(x)f(x)g(x)f(x)g(x)是EEE上的可测函数；f(x)+g(x)f(x)+g(x)f(x)+g(x)与f(x)/g(x)f(x)/g(x)f(x)/g(x)是其有定义的集合上的可测函数。推论1： 设E⊂RnE \sub \mathbb{R}^nE⊂Rn是可测集，则EEE上连续函数均为可测函数，即C(E).

定义1

定义1（可测集）： 设E⊂RnE \sub \mathbb{R}^nE⊂Rn，若∀T⊂Rn\forall T \sub \mathbb{R}^n∀T⊂Rn，有m∗(T)=m∗(T∩E)+m∗(T∩Ec),m^{*}(T)=m^{*}(T \cap E)+m^{*}(T\cap E^c),m∗(T)=m∗(T∩E)+m∗(T∩Ec),称EEE是Lebesgue可测集，简称为可测集。可测集全体记作Mn\mathcal{M}_nMn​，称为Rn\mathbb{R}^nRn的可测集类。如果要强调可测集类的维数，则.

引言 19世纪下半叶，不少分析学家进行一系列扩充长度和面积概念的探索，逐渐形成测度的概念。1898年，博雷尔（Borel）建立了以为Borel点集的测度，法国数学家勒贝格（Lebesgue）在20世纪初叶系统地建立了测度论，并成功地就建立起新的积分理论。它发表于1902年的论文《积分、长度与面积》被公认为现代测度和积分理论的奠基之作。1915年，法国数学家弗雷歇（M.Frechet）提出一般σ\sigmaσ代数上建立测度，开始创立抽象测度理论。1918年左右希腊数学家卡拉泰奥多里（Caratheodor

引理1： 设齐次马尔可夫过程满足正则性条件，则对于任意固定的i,j∈I,pij(t)i,j\in I,p_{ij}(t)i,j∈I,pij​(t)是ttt的一致连续函数。证明：设h>0h>0h>0，则有pij(t+h)−pij(t)=∑r∈Ipir(h)prj(t)−pij(t)=pii(h)pij(t)−pij(t)+∑r≠ipir(h)prj(t)=−[1−pii(h)]pij(t)+∑r≠ipir(h)prj(t),\begin{aligned}p_{ij}(t+h)-p_{..

定义1：设随机过程{X(t),t≥0}\{X(t),t\ge 0\}{X(t),t≥0}，状态空间I={i0,n≥0}I=\{i_0,n\ge 0\}I={i0​,n≥0}，若对任意0≤t1≤t2⋯tn+10 \le t_1 \le t_2 \cdots t_{n+1}0≤t1​≤t2​⋯tn+1​及i1,i2,⋯ ,in+1∈Ii_1,i_2,\cdots,i_{n+1} \in Ii1​,i2​,⋯,in+1​∈I，有P{X(tn+1)=in+1∣X(t1)=i1,X(t2)=i2,⋯ ,X(tn)=.

马尔可夫链的定义假设马尔可夫过程{Xn,n∈T}\{X_n,n\in T \}{Xn​,n∈T}的参数集TTT是离散的时间集合，即T={0,1,2,⋯ }T=\{0,1,2,\cdots\}T={0,1,2,⋯}，其相应的XnX_nXn​可能取值的全体组成的状态空间是离散的状态集I={i0,i1,i2,⋯ }I=\{i_0,i_1,i_2,\cdots\}I={i0​,i1​,i2​,⋯} 。定义1： 若随机过程{Xn,n∈T}\{X_n,n\in T\}{Xn​,n∈T}对于任意的非负整数n∈Tn\i

独立同分布下的中心极限定理定理：（林德伯格—莱维中心极限定理） 设{Xn}\{X_n\}{Xn​}是独立同分布的随机变量序列，且E(Xi)=u\mathrm{E}(X_i)=uE(Xi​)=u，Var(Xi)=σ2>0\mathrm{Var}(X_i)=\sigma^2>0Var(Xi​)=σ2>0存在，若记Yn∗=X1+X2+⋯+Xn−nμσn,Y^{*}_n=\frac{X_1+X_2+\cdots+X_n-n \mu}{\sigma\sqrt{n}},Yn∗​=σn​X1​+X2​

大数定律引言 “概率是频率的稳定值”，其中“稳定”特指频率在其概率附近摆动，但是如何摆动仍没有说清楚，现在可以用大数定律彻底说清楚这个问题。大数定律有很多形式，下面从最简单的伯努利大数定律说起，逐步介绍各种大数定律。伯努利大数定律 记sns_nsn​为nnn重伯努利试验中事件AAA出现的次数，称snn\frac{s_n}{n}nsn​​为事件AAA出现的频率。如果记一次试验中AAA发生的概率ppp，则从二项分布b(n,p)b(n,p)b(n,p)，因此频率snn\frac{s_n}{n}nsn​​的数

特征函数的作用 特征函数是处理概率论问题的有力工具，其作用在于：可将卷积运算化成乘法运算；可将求各阶矩的积分运算化成微分运算；可将求随机变量序列的极限分布化成一般的函数极限问题 ；特征函数的定义 设XXX是一随机变量，称φ(t)=E(eitX)\varphi(t)=\mathbb{E}(e^{itX})φ(t)=E(eitX)为XXX的特征函数，其中i=−1i=\sqrt{-1}i=−1​是虚数单位。当XXX为离散随机变量时，φ(t)=∑k=1∞eitxkpk\varphi(t)=\s

蒙特卡洛方法概述 蒙特卡罗方法又称随机抽样技巧或统计试验方法。蒙特卡罗方法是一种计算方法，但与一般数值计算方法有很大的区别。它是以概率统计理论为基础的一种方法。由于蒙特卡罗方法能够比较逼真地描述事物的特点及物理实验过程，解决一些数值方法难以解决地问题，因而该方法地应用领域日趋广泛。蒙特卡洛方法基本思想...

Beta函数 Beta函数的定义如下B(a,b)=∫01xa−1(1−x)b−1dx,\mathrm{B}(a,b)=\int_0^1 x^{a-1}(1-x)^{b-1}dx,B(a,b)=∫01​xa−1(1−x)b−1dx,其中参数a>0a>0a>0，b>0b>0b>0。Beta函数具有如下性质：(1)B(a,b)=B(b,a)\mathrm{B}(a,b)=\mathrm{B}(b,a)B(a,b)=B(b,a)证明：令y=1−xy=1-xy=1−x，则有B

伽马函数 伽马函数的定义为Γ(α)=∫0∞xα−1e−xdx\Gamma(\alpha)=\int_0^{\infty}x^{\alpha-1}e^{-x}dxΓ(α)=∫0∞​xα−1e−xdx其中参数α>0\alpha>0α>0。伽马函数具有如下性质：Γ(1)=1\Gamma(1)=1Γ(1)=1，Γ(12)=π\Gamma(\frac{1}{2})=\sqrt{\pi}Γ(21​)=π​。Γ(α+1)=αΓ(α)\Gamma(\alpha+1)=\alpha\Gamma(\a

定理 设YYY是随机变量XXX的函数：Y=g(X)Y=g(X)Y=g(X)（ggg是连续函数）。如果XXX是离散型随机变量，它的分布律为P{X=xk}=pk,k=1,2,⋯ ,P\{X=x_k\}=p_k,k=1,2,\cdots,P{X=xk​}=pk​,k=1,2,⋯,若∑k=1∞g(xk)pk\sum\limits_{k=1}^{\infty}g(x_k)p_kk=1∑∞​g(xk​)pk​绝对收敛则有E(Y)=E[(g(X))]=∑k=1∞g(xk)pk\mathbb{E}(Y)=\mathb

引言 在一些试验中，所关心的随机变量往往不能直接测量得到，而它确却是某个能直接测量的随机变量的函数 ，则可以通过已知的随机变量XXX的概率分布去求得它的函数Y=g(X)Y=g(X)Y=g(X)。定理 设随机变量XXX具有概率密度fX(x)f_X(x)fX​(x), −∞<x<∞-\infty < x < \infty−∞<x<∞，又设函数g(x)g(x)g(x)处处可导且恒有g′(x)>0g^{\prime}(x)>0g′(x)>0（或恒有g′(x

Gram\mathrm{Gram}Gram矩阵的定义定义：nnn维欧式空间中任意k(k≤n)k(k \le n)k(k≤n)个向量α1,α2,⋯ ,αk\alpha_1,\alpha_2,\cdots,\alpha_kα1​,α2​,⋯,αk​的内积所组成的矩阵Δ(α1,α2,⋯ ,αk)=((α1,α1)(α1,α2)⋯(α1,αk)(α2,α1)(α2,α2)⋯(α2,αk)⋯⋯⋯⋯(αk,α1)(αk,α2)⋯(αk,αk))\Delta(\alpha_1,\alpha_2,\cdots,\alph