sinat_33598258的博客

熵Entropy and 散度DivergenceShannon信息量信息量也称为Shannon信息量，常用于刻画消除随机变量x在xix_ixi​处的不确定性所需的信息量的大小。假设考虑离散型随机变量的情况，设p为随机变量x的概率分布，即p(xi)p(x_i)p(xi​)为随机变量x在x=xix=x_ix=xi​处的概率密度函数值，则随机变量x在x=xix=x_ix=xi​处的Shannon信...

多变量t分布的KL散度多变量学生t分布（简称多变量t分布，也称多元t分布，Multivariate t distribution)的定义如下：f(x)=Cn(det⁡Σ)−1/2[1+1ν(x−μ)TΣ−1(x−μ)]−(ν+n)/2f(\mathbf{x})=C_n(\det \Sigma)^{-1/2}[1+\frac{1}{\nu}(\mathbf{x}-\mu)^T\Sigma^{-...

多变量高斯分布的KL散度假设多元变量xxx服从多元变量高斯分布（也称为多变量高斯分布,multivariate Gaussian distribution），即x∼N(μ,Σ)x\sim \mathcal{N}(\mu,\Sigma)x∼N(μ,Σ)，其中μ\muμ为均值，Σ\SigmaΣ为协方差矩阵，则多变量高斯分布的概率密度函数PDF定义为f(x)=1(2π)N(det⁡Σ)12exp⁡{...

单变量高斯分布的概率密度函数（Probability Density Function，PDF）定义如下：f(x)=12πσ2exp{−(x−μ)22σ2}f(x)=\frac{1}{\sqrt{2\pi\sigma^2}}exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}\right\}f(x)=2πσ2​1​exp{−2σ2(x−μ)2​}上式表示变量x∼N(...