tppca的理论推导-1

（该博客是自己在完成老师任务时经过查阅资料自行推导并整理的笔记，在变量的字母符号设置上前后有所差异，但不影响阅读，如有错误，请联系我，此笔记仅用于学习，如需转载，请注明来源，谢谢！）

1 tppca模型

1.1 预备知识

tppca模型是ppca模型在t分布下的推广，因此，要定义tppca模型，必先了解多元t分布$t(\mu ,\Sigma ,\nu )$的概率密度：

$$\begin{array}{rl}p(\mathbf{t}\mid \mathbf{\mu },\mathbf{\Sigma },v)=& \frac{\Gamma ((v+d)/2)|\mathbf{\Sigma }{|}^{-1/2}}{\Gamma (v/2)(v\pi {)}^{d/2}}\\ & \times {\left[1+(\mathbf{t}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{t}-\mathbf{\mu })/v\right]}^{-(v+d)/2}\end{array}$$

其中，$\mathbf{\Sigma }$是对称和正定的，如果$\nu >1$时$\mathbf{\mu }$是均值向量，如果$\nu >2$时，$\frac{\mathbf{\Sigma }\nu }{\nu -2}$是协方差矩阵；多元正态分布$\mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$是$t(\mathbf{\mu },\mathbf{\Sigma },\infty )$的极限。

通常直接对t分布求解参数是困难的，因此常常把多元t分布看作是一个特殊的高斯混合。例如：要从多元t分布$t(\mu ,\Sigma ,\nu )$中抽取一个t向量，我们引入一个潜变量$\tau$，且$\tau \sim Gamma(v/2,v/2)$,概率密度函数如下：

p ( τ ) = p ( τ ; ν 2 , ν 2 ) = ν 2 ν 2 τ ν 2 − 1 Γ ( ν 2 ) exp ⁡ { − ν 2 τ } p(\tau)=p(\tau ; \frac{\nu}{2}, \frac{\nu}{2})=\frac{\frac{\nu}{2}^{\frac{\nu}{2}} \tau^{\frac{\nu}{2}-1}}{\Gamma(\frac{\nu}{2})} \exp \{-\frac{\nu}{2} \tau\} p(τ)=p(τ;2ν​,2ν​)=Γ(2ν​)2ν​2ν​τ2ν​−1​exp{−2ν​τ}

当$\tau$给定时，向量$t$是从多元正态分布$\mathcal{N}(\mathbf{\mu },\mathbf{\Sigma }/\tau )$中抽取的，则容易验证向量$t$的边际分布就是$t(\mu ,\Sigma ,\nu )$。

具体验证过程如下：

p ( t ) = ∫ 0 + ∞ p ( t ∣ τ ) p ( τ ) d τ = ∫ 0 + ∞ ( 2 π ) − d 2 ∣ Σ τ ∣ − 1 2 exp ⁡ { − 1 2 ( t − μ ) ⊤ ( Σ τ ) − 1 ( t − μ ) } ⋅ ( ν 2 ) ν 2 Γ ( ν 2 ) ⋅ τ ν 2 − 1 exp ⁡ { − ν 2 τ } d τ = ( 2 π ) − d 2 ∣ Σ ∣ − 1 2 ( ν 2 ) ν 2 Γ ( ν 2 ) ∫ 0 + ∞ τ d + v 2 − 1 exp ⁡ { − ( t − μ ) T Σ − 1 ( t − μ ) 2 τ } d τ = ( 2 π ) d 2 ∣ Σ ∣ 1 2 ( ν 2 ) ν 2 Γ ( ν 2 ) Γ ( d + v 2 ) [ ( t − μ ) T Σ − 1 ( t − μ ) 2 + ν ] d + v 2 ⋅ ∫ 0 + ∞ [ ( t − μ ) T Σ − 1 ( t − μ ) 2 ] d + v 2 Γ ( d + v 2 ) τ d + v 2 − 1 exp ⁡ { − ( t − μ ) T Σ − 1 ( t − μ ) 2 τ } d τ = Γ ( ( v + d ) / 2 ) ∣ Σ ∣ − 1 / 2 Γ ( v / 2 ) ( v π ) d / 2 × [ 1 + ( t − μ ) T Σ − 1 ( t − μ ) / v ] − ( v + d ) / 2 \begin{aligned} p(t) &=\int_{0}^{+\infty} p(t \mid \tau) p(\tau) d \tau \\ &=\int_{0}^{+\infty}(2 \pi)^{-\frac{d}{2}}\left|\frac{\Sigma}{\tau}\right|^{-\frac{1}{2}} \exp \left\{-\frac{1}{2}(t-\mu)^{\top}\left(\frac{\Sigma}{\tau}\right)^{-1}(t-\mu)\right\}\\ &\cdot \frac{\left(\frac{\nu}{2}\right)^{\frac{\nu}{2}}}{\Gamma\left(\frac{\nu}{2}\right)} \cdot \tau^{\frac{\nu}{2}-1} \exp \left\{-\frac{\nu}{2} \tau\right\} d \tau \\ &=(2 \pi)^{-\frac{d}{2}} \mid \Sigma \mid^{-\frac{1}{2}} \frac{\left(\frac{\nu}{2}\right)^{\frac{\nu}{2}}}{\Gamma(\frac{\nu}{2})}\int_{0}^{+\infty} \tau^{\frac{d+v}{2}-1} \exp\{-\frac{(t-\mu)^T \Sigma^{-1} (t-\mu)}{2} \tau\} d \tau \\ &=(2\pi)^{\frac{d}{2}} |\Sigma|^{\frac{1}{2}} \frac{\left(\frac{\nu}{2}\right)^{\frac{\nu}{2}}}{\Gamma(\frac{\nu}{2})} \frac{\Gamma(\frac{d+v}{2})}{[\frac{(t-\mu)^T \Sigma^{-1} (t-\mu)}{2}+\nu]^{\frac{d+v}{2}}} \\ &\cdot \int_{0}^{+\infty} \frac{[\frac{(t-\mu)^T \Sigma^{-1} (t-\mu)}{2}]^{\frac{d+v}{2}}}{\Gamma(\frac{d+v}{2})} \tau^{\frac{d+v}{2}-1} \exp\{-\frac{(t-\mu)^T \Sigma^{-1} (t-\mu)}{2} \tau\} d \tau \\ &= \frac{\Gamma((v+d) / 2)|\mathbf{\Sigma}|^{-1 / 2}}{\Gamma(v / 2)(v \pi)^{d / 2}} \\ & \times\left[1+(\mathbf{t}-\boldsymbol{\mu})^{\mathrm{T}} \mathbf{\Sigma}^{-1}(\mathbf{t}-\boldsymbol{\mu}) / v\right]^{-(v+d) / 2} \end{aligned} p(t)​=∫0+∞​p(t∣τ)p(τ)dτ=∫0+∞​(2π)−2d​ ​τΣ​ ​−21​exp{−21​(t−μ)⊤(τΣ​)−1(t−μ)}⋅Γ(2ν​)(2ν​)2ν​​⋅τ2ν​−1exp{−2ν​τ}dτ=(2π)−2d​∣Σ∣−21​Γ(2ν​)(2ν​)2ν​​∫0+∞​τ2d+v​−1exp{−2(t−μ)TΣ−1(t−μ)​τ}dτ=(2π)2d​∣Σ∣21​Γ(2ν​)(2ν​)2ν​​[2(t−μ)TΣ−1(t−μ)​+ν]2d+v​Γ(2d+v​)​⋅∫0+∞​Γ(2d+v​)[2(t−μ)TΣ−1(t−μ)​]2d+v​​τ2d+v​−1exp{−2(t−μ)TΣ−1(t−μ)​τ}dτ=Γ(v/2)(vπ)d/2Γ((v+d)/2)∣Σ∣−1/2​×[1+(t−μ)TΣ−1(t−μ)/v]−(v+d)/2​

也就是说t的边际分布就是对$p(t,\tau )$的联合分布关于$\tau$积分所得，这个分布便是$t(\mu ,\Sigma ,\nu )$。

1.2 模型形式

$$\begin{array}{l}{\mathbf{t}}_n\mid {\tau }_n,{\mathbf{x}}_n=\mathbf{W}{\mathbf{x}}_n+{\mathbf{\mu }}_{\mathbf{n}}+{\mathbf{\epsilon }}_{\mathbf{n}}\\ {\mathbf{x}}_n|{\tau }_n\sim \mathcal{N}(0,\mathbf{I}/{\tau }_n),{\mathbf{\epsilon }}_{\mathbf{n}}|{\tau }_n\sim \mathcal{N}\left(0,{\sigma }^2\mathbf{I}/{\tau }_n\right)\\ {\tau }_n\sim Ga(v/2,v/2)\end{array}$$
其中，${\mathbf{t}}_n$表示第$n$个观测数据,维度为$d\times 1$，${\mathbf{x}}_n$代表潜在因子,维度为$q\times 1$，噪声${\epsilon }_n$假设是同方差的，且因子与噪声之间是互不相关的。

该模型中待估参数是：${\sigma }^2，v，\mathbf{\mu }，\mathbf{W}$

2 推导要用的分布

2.1 $(t_n\mid x_n,{\tau }_n)$的分布

当$x_n和{\tau }_n$给定时，两者可以看作是固定的，所以模型公式中
${\mathbf{t}}_n\mid {\tau }_n,{\mathbf{x}}_n=\mathbf{W}{\mathbf{x}}_n+\mathbf{\mu }+{\mathbf{\epsilon }}_{\mathbf{n}}$只有${\mathbf{\epsilon }}_{\mathbf{n}}$是随机的，且是正态分布，因此$t_n$也应该服从正态分布。

$$\begin{array}{l}E\left[t_n\right]=E\left[w{x}_n+\mu +{ϵ}_n\right]=x_n+\mu +E\left({\epsilon }_n\right)=w{x}_n+\mu \\ \mathrm{Cov}\left(t_n\right)=\mathrm{Cov}\left({\epsilon }_n\right)={\sigma }^{2}I/{\tau }_n\end{array}$$
故：
$${\mathrm{t}}_{\mathrm{n}}\mid x_n,{\tau }_n\sim N\left(\mu +w{x}_n,{\sigma }^{2}I/{\tau }_n\right)$$

2.2 $(t_n\mid {\tau }_n)$的分布

只给定${\tau }_n$时，$x_n$和${\epsilon }_n$都是随机变量，且都服从正态分布，故$(t_n\mid {\tau }_n)$也服从正态分布。

有$x_n\left|{\tau }_n\sim N\left(0,I/{\tau }_n\right),{\epsilon }_n\right|{\tau }_n\sim N\left(0,{\sigma }^{2}I/{\tau }_n\right)$

$\begin{array}{rl}E\left[t_n\mid {\tau }_n\right]=E\left[W{x}_n+\mu +{ϵ}_n\right]& =WE{x}_n+\mu +E\left({\epsilon }_n\right)\\ & =\mu \end{array}$

$$cov(t_n\mid {\tau }_n)=cov(W{x}_n+\mu +{\epsilon }_n)=\frac{W{W}^T+{\sigma }^{2}I}{{\tau }_n}$$

故：$(t_n\mid {\tau }_n)\sim N(\mu ,\Sigma /{\tau }_n)$

2.3 相关分布

由预备知识可知，${\tau }_n\sim Ga(\frac{\nu }{2},\frac{\nu }{2})$，$t_n|{\tau }_n\sim N(\mu ,\Sigma /{\tau }_n)$，$x_n|{\tau }_n\sim N(0,I/{\tau }_n)$，${\epsilon }_n|{\tau }_n\sim N(0,{\sigma }^{2}I/{\tau }_n)$,由以上分布及t分布的性质，可知$t_n\sim t(\mu ,\Sigma ,\nu )$，$x_n\sim t(0,I,\nu )$，${\epsilon }_n\sim t(0,{\sigma }^{2}I,\nu )$。

由此，我们可以看到在模型公式中${\mathbf{t}}_n=\mathbf{W}{\mathbf{x}}_n+{\mathbf{\mu }}_{\mathbf{n}}+{\mathbf{\epsilon }}_{\mathbf{n}}$，潜变量$x_n$，噪声${\epsilon }_n$以及观测数据$t_n$均服从t分布，因此ppca模型在t分布下的推广便是今天所要讨论的tppca模型。

3 tppca模型的参数估计

要计算模型的参数估计，主要的方法是极大似然估计。由上文可知，观测数据的分布为$t_n\sim t(\mu ,\Sigma ,\nu )$，因此对数似然函数
L ( Θ ) = ∑ n = 1 N log ⁡ ( p ( t n ∣ μ , Σ , ν ) ) ∝ ∑ n = 1 N { log ⁡ ( ν + d 2 ) − 1 2 log ⁡ ( ∣ Σ ∣ ) + ν 2 log ⁡ ( ν ) − log ⁡ ( Γ ( ν 2 ) ) − ν + d 2 log ⁡ ( ν + ( t n − μ ) T Σ − 1 ( t n − μ ) ) } \begin{aligned} \textrm{L}(\Theta) &= \sum_{n=1}^{N} \log(p(t_n \mid \mu,\Sigma,\nu)) \\ &\propto \sum_{n=1}^{N} \{ \log(\frac{\nu+d}{2}) - \frac{1}{2} \log(|\Sigma|) + \frac{\nu}{2}\log(\nu) - \log(\Gamma(\frac{\nu}{2})) -\frac{\nu+d}{2}\log(\nu+(t_n-\mu)^{T}\Sigma^{-1}(t_n-\mu))\} \end{aligned} L(Θ)​=n=1∑N​log(p(tn​∣μ,Σ,ν))∝n=1∑N​{log(2ν+d​)−21​log(∣Σ∣)+2ν​log(ν)−log(Γ(2ν​))−2ν+d​log(ν+(tn​−μ)TΣ−1(tn​−μ))}​
上式中，由于其中$\Sigma =W{W}^T+{\sigma }^{2}I$,故参数空间$\Theta =(\mu ,W,{\sigma }^2,\nu )$,要得到上述参数的MLE，必须分别对每个参数求导，真实似然很难求导得到想要的参数估计，因此我们利用t分布的性质，引入潜在变量$\tau$,利用EM类型的算法进行求解。

3.1 完全数据的对数似然函数

观测数据为$t_n$，潜在因子$x_n$，新引入的潜变量为${\tau }_n$，因此完全数据为$(t_n,x_n,{\tau }_n)$,参数向量为$\Theta =(\mu ,W,{\sigma }^2,\nu )$，因此完全数据的对数似然函数为：
L c ( Θ ) = ∑ n = 1 N log ⁡ ( p ( t n , x n , τ n ) ) = ∑ n = 1 N log ⁡ [ p ( t n ∣ x n , τ n ) p ( x n ∣ τ n ) p ( τ n ) ] = ∑ n = 1 N { − d 2 log ⁡ ( 2 π ) − d 2 log ⁡ ( σ 2 ) + d 2 log ⁡ ( τ n ) − τ n 2 σ 2 ( t n − W x n − μ ) T ( t n − W x n − μ ) − q 2 log ⁡ ( 2 π ) + d 2 log ⁡ ( τ n ) − t n 2 x n T x n + ν 2 log ⁡ ( ν 2 ) − log ⁡ ( Γ ( ν 2 ) ) + ν 2 ( log ⁡ ( τ n ) − τ n ) − log ⁡ ( t n ) } ( 去掉与参数无关项 ) ∝ − N d 2 log ⁡ ( σ 2 ) − 1 2 σ 2 ∑ n = 1 N { τ n ∥ t n − μ ∥ 2 − 2 τ n x n T W T ( t n − μ ) + t r [ W τ n x n x n T W T ] } + N ν 2 log ⁡ ( ν 2 ) − N log ⁡ ( Γ ( ν 2 ) ) + ν 2 ∑ n = 1 N ( log ⁡ τ n − τ n ) = L ( θ ) + L ( ν ) \begin{aligned} L_c(\Theta) &= \sum_{n=1}^{N} \log(p(t_n,x_n,\tau_n)) \\ &= \sum_{n=1}^{N} \log[p(t_n|x_n,\tau_n)p(x_n|\tau_n)p(\tau_n)] \\ &=\sum_{n=1}^{N} \{-\frac{d}{2} \log(2\pi) - \frac{d}{2} \log(\sigma^2) + \frac{d}{2} \log(\tau_n) - \frac{\tau_n}{2\sigma^2}(t_n - W x_n - \mu)^{T}(t_n - W x_n - \mu) \\ &-\frac{q}{2} \log(2\pi) + \frac{d}{2} \log(\tau_n) - \frac{t_n} {2}x_n^{T}x_n \\ &+\frac{\nu}{2} \log(\frac{\nu}{2}) - \log(\Gamma(\frac{\nu}{2})) + \frac{\nu}{2}(\log(\tau_n)-\tau_n)-\log(t_n)\}(去掉与参数无关项)\\ &\propto-\frac{Nd}{2}\log(\sigma^2) - \frac{1}{2\sigma^2}\sum_{n=1}^{N}\{\tau_n\|t_n-\mu\|^2 -2\tau_n x_n^{T}W^{T}(t_n-\mu) + tr[W\tau_n x_n x_n^{T}W^T] \}\\ &+\frac{N\nu}{2}\log(\frac{\nu}{2}) - N\log(\Gamma(\frac{\nu}{2})) + \frac{\nu}{2} \sum_{n=1}^{N}(\log\tau_n - \tau_n)\\ &=L(\theta) +L(\nu) \end{aligned} Lc​(Θ)​=n=1∑N​log(p(tn​,xn​,τn​))=n=1∑N​log[p(tn​∣xn​,τn​)p(xn​∣τn​)p(τn​)]=n=1∑N​{−2d​log(2π)−2d​log(σ2)+2d​log(τn​)−2σ2τn​​(tn​−Wxn​−μ)T(tn​−Wxn​−μ)−2q​log(2π)+2d​log(τn​)−2tn​​xnT​xn​+2ν​log(2ν​)−log(Γ(2ν​))+2ν​(log(τn​)−τn​)−log(tn​)}(去掉与参数无关项)∝−2Nd​log(σ2)−2σ21​n=1∑N​{τn​∥tn​−μ∥2−2τn​xnT​WT(tn​−μ)+tr[Wτn​xn​xnT​WT]}+2Nν​log(2ν​)−Nlog(Γ(2ν​))+2ν​n=1∑N​(logτn​−τn​)=L(θ)+L(ν)​
根据以上完全数据的似然函数，要想使用EM算法，在观测数据$t_n$下，${\tau }_n$和$x_n$的后验分布。

3.2 给定观测样本，两个潜变量的后验分布

3.2.1 更新${\tau }_n$的分布

p ( τ n ∣ t n ) ∝ p ( t n ∣ τ n ) p ( τ n ) = ( 2 π ) − d 2 ∣ Σ ∣ − 1 2 τ d + ν 2 − 1 exp ⁡ { − ( t n − μ ) T Σ − 1 ( t n − μ ) + ν 2 τ n } ∝ τ d + ν 2 − 1 exp ⁡ { − ( t n − μ ) T Σ − 1 ( t n − μ ) + ν 2 τ n } = G a ( d + ν 2 , ( t n − μ ) T Σ − 1 ( t n − μ ) + ν 2 ) \begin{aligned} p(\tau_n|t_n) &\propto p(t_n|\tau_n)p(\tau_n) \\ &=(2\pi)^{-\frac{d}{2}}|\Sigma|^{-\frac{1}{2}}\tau^{\frac{d+\nu}{2}-1} \exp\{-\frac{(t_n-\mu)^{T}\Sigma^{-1}(t_n-\mu)+\nu}{2} \tau_n\} \\ &\propto \tau^{\frac{d+\nu}{2}-1} \exp\{-\frac{(t_n-\mu)^{T}\Sigma^{-1}(t_n-\mu)+\nu}{2} \tau_n\} \\ &=Ga(\frac{d+\nu}{2},\frac{(t_n-\mu)^{T}\Sigma^{-1}(t_n-\mu)+\nu}{2}) \end{aligned} p(τn​∣tn​)​∝p(tn​∣τn​)p(τn​)=(2π)−2d​∣Σ∣−21​τ2d+ν​−1exp{−2(tn​−μ)TΣ−1(tn​−μ)+ν​τn​}∝τ2d+ν​−1exp{−2(tn​−μ)TΣ−1(tn​−μ)+ν​τn​}=Ga(2d+ν​,2(tn​−μ)TΣ−1(tn​−μ)+ν​)​

3.2.2 更新潜在因子$x_n$的分布

p ( x n ∣ t n , τ n ) ∝ p ( t n ∣ x n , τ n ) p ( x n ∣ τ n ) ∝ exp ⁡ { − 1 2 [ τ n x n T ( W t W + σ 2 I ) x n σ 2 − 2 τ n x n T W T ( t n − μ ) σ 2 ] } \begin{aligned} p(x_n|t_n,\tau_n) &\propto p(t_n|x_n,\tau_n)p(x_n|\tau_n) \\ &\propto \exp\{-\frac{1}{2}[\frac{\tau_n x_n^{T}(W^{t}W + \sigma^2 I)x_n}{\sigma^2}-\frac{2\tau_n x_n^{T}W^{T}(t_n-\mu)}{\sigma^2}]\} \end{aligned} p(xn​∣tn​,τn​)​∝p(tn​∣xn​,τn​)p(xn​∣τn​)∝exp{−21​[σ2τn​xnT​(WtW+σ2I)xn​​−σ22τn​xnT​WT(tn​−μ)​]}​
由于$t_n|x_n,{\tau }_n$是正态分布，$x_n|{\tau }_n$也是正态分布，因此后验分布$x_n|t_n,{\tau }_n$必然也是正态分布，假设$x_n|t_n,{\tau }_n\sim N(m,\Psi )$,则有其概率密度函数的形式为：
p ( x n ∣ t n , τ n ) ∝ exp ⁡ { − 1 2 ( x n T Ψ − 1 x n − 2 x n T Ψ − 1 m ) } \begin{aligned} p(x_n|t_n,\tau_n) &\propto \exp\{-\frac{1}{2}(x_n^{T}\Psi^{-1}x_n - 2 x_n^{T}\Psi^{-1}m)\} \end{aligned} p(xn​∣tn​,τn​)​∝exp{−21​(xnT​Ψ−1xn​−2xnT​Ψ−1m)}​
故由上式可得：
$$\begin{array}{r}{\Psi }^{-1}={\tau }_n\frac{W^{T}W+{\sigma }^{2}I}{{\sigma }^2}\\ \Psi ={\tau }_n^{-1}{\sigma }^2{M}^{-1}={\tau }_n^{-1}P={\tau }_n^{-1}[I-W^T{\Sigma }^{-1}W]\\ m=W^T{\Sigma }^{-1}(t_n-\mu )\end{array}$$

3.3 Q函数及其最大化

Q函数是完全数据的对数似然关于两个潜变量$x_n$和${\tau }_n$的后验期望。

假设$Z\sim Ga(\alpha ,\beta )$，故$E(Z)=\alpha /\beta$，因此，$E({\tau }_n|t_n)=\frac{d+\nu }{(t_n-\mu {)}^T{\Sigma }^{-1}(t_n-\mu )+\nu }$

$$E(\log {\tau }_n)=\psi (\frac{d+\nu }{2})-\log [\frac{(t_n-\mu {)}^T{\Sigma }^{-1}(t_n-\mu )+\nu }{2}]$$

${\tau }_n$服从的是伽马分布，伽马分布属于指数族分布，而$\log {\tau }_n$是伽马分布的一个充分统计量，因此该公式的计算使用了指数组分布的充分统计量的期望，即$E(T)=\dot{b(\theta )}$，利用此公式即可轻松计算$E(\log {\tau }_n)$：

$$E(x_n|t_n,{\tau }_n)=W^T{\Sigma }^{-1}(t_n-\mu )$$

$$E(x_n{x}_n^T|t_n,{\tau }_n)={\tau }_n^{-1}{\sigma }^2({\sigma }^{2}I+W^{T}W{)}^{-1}+E(x_n|t_n,{\tau }_n)E(x_n^T|t_n,{\tau }_n)$$

$$E({\tau }_n{x}_n^T|t_n)=E({\tau }_{n}E(x_n^T|t_n)|t_n)=E({\tau }_n|t_n)E(x_n^T|t_n)(因为E(x_n^T|t_n)是常数)$$

$$E({\tau }_n{x}_n{x}_n^T|t_n)=E({\tau }_{n}E(x_n{x}_n^T|t_n,{\tau }_n)|t_n)={\sigma }^2{M}^{-1}+E({\tau }_n|t_n)E(x_n|t_n,{\tau }_n)E(x_n^T|t_n,{\tau }_n)$$

其中，$M={\sigma }^{2}I+W^{T}W$

根据上面的后验期望公式，完全数据的对数似然函数转化为Q函数为：

Q 1 ( Θ ) = Q 1 ( μ , W , σ 2 ) = − N d 2 log ⁡ σ 2 − 1 2 σ 2 ∑ n = 1 N { E ( τ n ∣ t n ) ∥ t n − μ ∥ 2 − 2 E ( τ n x n T ∣ t n ) W T ( t n − μ ) + t r [ W E ( τ n x n x n T ) W T ] } \begin{aligned} Q_1(\Theta) &= Q_1(\mu,W,\sigma^2) \\ &=-\frac{Nd}{2}\log\sigma^2 - \frac{1}{2\sigma^2}\sum_{n=1}^{N}\{E(\tau_n|t_n)\|t_n-\mu\|^{2} - 2E(\tau_n x_n^{T}|t_n)W^{T}(t_n-\mu) + tr[WE(\tau_n x_n x_n^{T})W^{T}]\} \end{aligned} Q1​(Θ)​=Q1​(μ,W,σ2)=−2Nd​logσ2−2σ21​n=1∑N​{E(τn​∣tn​)∥tn​−μ∥2−2E(τn​xnT​∣tn​)WT(tn​−μ)+tr[WE(τn​xn​xnT​)WT]}​

$$\begin{array}{r}{Q}_2(\nu )=\frac{N\nu }{2}\log \frac{\nu }{2}-N\log \Gamma (\frac{\nu }{2})+\frac{\nu }{2}\sum _{n=1}^{N}E(\log {\tau }_n-{\tau }_n)\end{array}$$

对上述的$Q_1$和$Q_2$函数分别关于$(\mu ,W,{\sigma }^2)$和$\nu$求导数：

∂ Q 1 ∂ μ = 1 2 σ 2 ∑ n = 1 N { 2 E ( τ n ∣ t n ) ( t n − μ ) − 2 W E ( τ n x n ∣ t n ) } = 0 \frac{\partial Q_1}{\partial \mu} = \frac{1}{2\sigma^2} \sum_{n=1}^{N}\{2E(\tau_n|t_n)(t_n-\mu) - 2WE(\tau_n x_n|t_n)\} = 0 ∂μ∂Q1​​=2σ21​n=1∑N​{2E(τn​∣tn​)(tn​−μ)−2WE(τn​xn​∣tn​)}=0

$$\sum _{n=1}^{N}E({\tau }_n|t_n)(t_n-\mu )=W\sum _{n=1}^{N}E({\tau }_n|t_n)E(x_n|{\tau }_n)$$

$${\mu }^{(t+1)}=\frac{{\sum }_{n=1}^{N}E({\tau }_n|t_n)[t_n-W^{(t+1)}E(x_n|t_n)]}{{\sum }_{n=1}^{N}E({\tau }_n|t_n)}$$

令$\rho =\frac{1}{N}{\sum }_{n=1}^{N}E({\tau }_n|t_n)$,${\mu }^{\ast }=\frac{1}{N\rho }{\sum }_{n=1}^{N}E({\tau }_n|t_n)t_n$,则有$\mu$的更新迭代公式为：

$${\mu }^{(t+1)}={\mu }^{(t)}+{\sigma }^{2(t)}[{\Sigma }^{(t)}{]}^{-1}({\mu }^{\ast (t)}-{\mu }^{(t)})$$

求解W:
d Q 1 ∣ W = 1 2 σ 2 ∑ n = 1 N { 2 t r [ ( t n − μ ) E ( τ n x n T ∣ t n ) d W T ] − 2 t r [ W E ( τ n x n x n T d W T ) ] } = 1 σ 2 t r { ∑ n = 1 N [ ( t n − μ ) E ( τ n x n T ) − W E ( τ n x n x n T ) ] d W T } \begin{aligned} dQ1_{|W} &= \frac{1}{2\sigma^2} \sum_{n=1}^{N} \{2tr[(t_n-\mu) E(\tau_n x_n^{T}|t_n) dW^{T}] -2tr[W E(\tau_n x_n x_n^{T} dW^{T})]\} \\ &=\frac{1}{\sigma^2} tr\{\sum_{n=1}^{N}[(t_n-\mu)E(\tau_n x_n^{T}) - W E(\tau_n x_n x_n^{T})] dW^T \} \end{aligned} dQ1∣W​​=2σ21​n=1∑N​{2tr[(tn​−μ)E(τn​xnT​∣tn​)dWT]−2tr[WE(τn​xn​xnT​dWT)]}=σ21​tr{n=1∑N​[(tn​−μ)E(τn​xnT​)−WE(τn​xn​xnT​)]dWT}​

$$\frac{\partial Q_1}{\partial W}=\frac{1}{{\sigma }^2}\sum _{n=1}^N\{(t_n-\mu )E({\tau }_n{x}_n^T)-WE({\tau }_n{x}_n{x}_n^T)\}=0$$

$$W^{(t+1)}=[\sum _{n=1}^N(t_n-{\mu }^{(t+1)})E({\tau }_n{x}_n^T|t_n)]\times [\sum _{n=1}^{N}E({\tau }_n{x}_n{x}_n^T|t_n){]}^{-1}$$

求解${\sigma }^2$:
∂ Q 1 ∂ σ 2 = − N d 2 σ 2 + 1 σ 4 ∑ n = 1 N { E ( τ n ∣ t n ) ∥ t n − μ ∥ 2 − 2 E ( τ n x n T ∣ t n ) W T ( t n − μ ) + t r [ W E ( τ n x n x n T ) W T ] } = 0 \frac{\partial Q_1}{\partial \sigma^2} = -\frac{Nd}{2\sigma^2} + \frac{1}{\sigma^4} \sum_{n=1}^{N} \{ E(\tau_n|t_n)\|t_n-\mu\|^{2} - 2E(\tau_n x_n^{T}|t_n)W^{T}(t_n-\mu) + tr[WE(\tau_n x_n x_n^{T})W^{T}] \} = 0 ∂σ2∂Q1​​=−2σ2Nd​+σ41​n=1∑N​{E(τn​∣tn​)∥tn​−μ∥2−2E(τn​xnT​∣tn​)WT(tn​−μ)+tr[WE(τn​xn​xnT​)WT]}=0

σ 2 ( t + 1 ) = 1 N d ∑ n = 1 N { E ( τ n ∣ t n ) ∥ t n − μ ( t + 1 ) ∥ 2 − 2 E ( τ n x n T ∣ t n ) W ( t + 1 ) T ( t n − μ ( t + 1 ) ) + t r [ W ( t + 1 ) E ( τ n x n x n T ) W ( t + 1 ) T ] } \sigma^{2(t+1)} = \frac{1}{Nd} \sum_{n=1}^{N} \{ E(\tau_n|t_n)\|t_n-\mu^{(t+1)} \|^{2} - 2E(\tau_n x_n^{T}|t_n)W^{(t+1)T}(t_n-\mu^{(t+1)}) + tr[W^{(t+1)} E(\tau_n x_n x_n^{T})W^{(t+1)T}] \} σ2(t+1)=Nd1​n=1∑N​{E(τn​∣tn​)∥tn​−μ(t+1)∥2−2E(τn​xnT​∣tn​)W(t+1)T(tn​−μ(t+1))+tr[W(t+1)E(τn​xn​xnT​)W(t+1)T]}

求解$\nu$:

$$\frac{d{Q}_2(\nu )}{d\nu }=\frac{1}{2}\sum _{n=1}^N[1+\log \frac{\nu }{2}-\psi (\frac{\nu }{2})+E(\log {\tau }_n|t_n)-E({\tau }_n|t_n)]=0$$

上述式子不能直接通过反解得到$\nu$的数学表达式，因此需要对该式通过一元搜索得到最佳的零解，在此使用tppca论文中的近似解表达式：

$$y=-\frac{1}{N}\sum _{n=1}^N[E(\log ({\tau }_n|t_n)-E({\tau }_n|t_n)]$$

$${\nu }^{(t+1)}=\frac{2}{y+\log y-1}+0.0416\times [1+\text{erf}(0.6594\log (\frac{2.1971}{y+\log y-1}))]$$

其中，$\text{erf}(x)=(\frac{2}{\sqrt{\pi }}){\int }_0^x\exp (-t^2)\text{d}t$。