《统计学习方法》(第九章)—— EM算法及推广

李航《统计学习方法》第2版 第9章课后习题答案 习题9.1 习题9.2 习题9.3 2个分模型,5个参数μ0,σ0,μ1,σ1,(a0,a1) 代码实现: import numpy as np import itertools import matplotlib.pyplot as plt import time class MyEM(): def __init__(self, y, args, tol=0.001, K=2, max_iter=50): self.y = y self.r = None #分模型k对观测数据. 阅读详情

EM算法的引入

概率模型有时既含有观测变量,又含有隐变量或潜在变量。所以不能直接用极大似然估计去估计参数。EM算法就是对含有隐变量模型的参数的极大似然估计算法。

EM算法

   一般用YYY表示观测随机变量的数据,ZZZ表示隐随机变量的数据,YYY和ZZZ连起来称为完全数据,YYY称为不完全数据。假设给定观测数据YYY,其概率分布P(Y∣θ)P(Y|\theta)P(Y∣θ),其中θ\thetaθ为参数。那么不完全数据YYY的似然函数是P(Y∣θ)P(Y|\theta)P(Y∣θ),其对数似然函数是L(θ)=log⁡P(Y∣θ)L(\theta)=\log P(Y|\theta)L(θ)=logP(Y∣θ),假设YYY和ZZZ的联合改论分布是P(Y,Z∣θ)P(Y,Z|\theta)P(Y,Z∣θ),那么完全数据的对数似然函数是L(θ)=P(Y,Z∣θ)L(\theta)=P(Y,Z|\theta)L(θ)=P(Y,Z∣θ)
EMEMEM算法基本思路是先求期望MMM再进一步最大化,似然函数
算法:
输入:观测变量YYY,隐变量数据ZZZ,联合分布P(Y,Z∣θ)P(Y,Z|\theta)P(Y,Z∣θ),条件分布P(Z∣Y,θ)P(Z|Y,\theta)P(Z∣Y,θ)
输出:模型参数θ\thetaθ
(1)(1)(1)选择参数的初始值θ(0),\theta^{(0)},θ(0),开始迭代
(2)(2)(2)EEE步:记θ(i)\theta^{(i)}θ(i),为第iii次迭代的参数估计值,在第i+1i+1i+1次迭代的EEE计算
Q(θ,θ(i))=Ez[log⁡P(Y,Z∣θ)∣Y,θ(i)]Q(\theta,\theta^{(i)})=E_z[\log P(Y,Z|\theta)|Y,\theta^{(i)}]Q(θ,θ(i))=Ez​[logP(Y,Z∣θ)∣Y,θ(i)]
=∑Zlog⁡P(Y,Z∣θ)P(Z∣Y,θ(i))=\sum\limits_{Z}\log P(Y,Z|\theta)P(Z|Y,\theta^{(i)})=Z∑​logP(Y,Z∣θ)P(Z∣Y,θ(i))
(3)(3)(3)MMM步:求使Q(θ,θ(i))Q(\theta,\theta^{(i)})Q(θ,θ(i))极大化的θ\thetaθ,确定第i+1i+1i+1次迭代的参数估计值θ(i+1)\theta^{(i+1)}θ(i+1)
θ(i+1)=arg max⁡θQ(θ,θ(i))\theta^{(i+1)}=\argmax\limits_{\theta}Q(\theta,\theta^{(i)})θ(i+1)=θargmax​Q(θ,θ(i))
(4)(4)(4)重复(2),(3)(2),(3)(2),(3)直到收敛

注意,定义Q(θ,θ(i))=EZ[log⁡P(Y,Z∣θ)∣Y,θ(i)]Q(\theta,\theta^{(i)})=E_Z[\log P(Y,Z|\theta)|Y,\theta^{(i)}]Q(θ,θ(i))=EZ​[logP(Y,Z∣θ)∣Y,θ(i)]
当∣∣θi+1−θi∣∣<ϵ1    or    ∣∣Q(θ(i+1),θ(i))−Q(θ(i),θ(i))∣∣<ϵ2||\theta^{i+1}-\theta^{i}|| <\epsilon_1 \ \ \ \ or \ \ \ \ ||Q(\theta^{(i+1)},\theta^{(i)})-Q(\theta^{(i)},\theta^{(i)})||<\epsilon_2∣∣θi+1−θi∣∣<ϵ1​    or    ∣∣Q(θ(i+1),θ(i))−Q(θ(i),θ(i))∣∣<ϵ2​
算法停止

EM算法的导出

对数似然函数为
L(θ)=log⁡P(Y∣θ)=log⁡∑ZP(Y,Z∣θ)L(\theta)=\log P(Y|\theta)=\log \sum\limits_Z P(Y,Z|\theta)L(θ)=logP(Y∣θ)=logZ∑​P(Y,Z∣θ)
=log⁡(∑P(Y∣Z,θ)P(Z∣θ))=\log(\sum\limits_P(Y|Z,\theta)P(Z|\theta))=log(P∑​(Y∣Z,θ)P(Z∣θ))
我们希望新值L(θ)>L(θ(i))L(\theta)>L(\theta^{(i)})L(θ)>L(θ(i))于是
L(θ)−L(θ(i))=log⁡(∑ZP(Y∣Z,θ)P(Z∣θ))−log⁡P(Y∣θ(i))L(\theta)-L(\theta^{(i)})=\log (\sum\limits_ZP(Y|Z,\theta)P(Z|\theta))-\log P(Y|\theta^{(i)})L(θ)−L(θ(i))=log(Z∑​P(Y∣Z,θ)P(Z∣θ))−logP(Y∣θ(i))
利用JensenJensenJensen不等式得
L(θ)−L(θ(i))=log⁡(∑ZP(Z∣Y,θi)P(Y∣Z,θ)P(Z∣θ)P(Z∣Y,θi))−log⁡P(Y∣θ(i))L(\theta)-L(\theta^{(i)})=\log(\sum\limits_ZP(Z|Y,\theta^{i})\frac{P(Y|Z,\theta)P(Z|\theta)}{P(Z|Y,\theta^{i})})-\log P(Y|\theta^{(i)})L(θ)−L(θ(i))=log(Z∑​P(Z∣Y,θi)P(Z∣Y,θi)P(Y∣Z,θ)P(Z∣θ)​)−logP(Y∣θ(i))
≥∑ZP(Z∣Y,θ(i))log⁡P(Y∣Z,θ)P(Z∣θ)P(Z∣Y,θi)−log⁡P(Y∣θ(i))\ge \sum\limits_ZP(Z|Y,\theta^{(i)})\log \frac{P(Y|Z,\theta)P(Z|\theta)}{P(Z|Y,\theta^{i})}-\log P(Y|\theta^{(i)})≥Z∑​P(Z∣Y,θ(i))logP(Z∣Y,θi)P(Y∣Z,θ)P(Z∣θ)​−logP(Y∣θ(i))
=∑ZP(Z∣Y,θ(i))log⁡P(Y∣Z,θ)P(Z∣θ)P(Z∣Y,θ(i))P(Y∣θ(i))=\sum\limits_ZP(Z|Y,\theta^{(i)})\log \frac{P(Y|Z,\theta)P(Z|\theta)}{P(Z|Y,\theta^{(i)})P(Y|\theta^{(i)})}=Z∑​P(Z∣Y,θ(i))logP(Z∣Y,θ(i))P(Y∣θ(i))P(Y∣Z,θ)P(Z∣θ)​
令
B(θ,θ(i))=L(θ(i))+∑ZP(Z∣Y,θ(i))log⁡P(Y∣Z,θ)P(Z∣θ)P(Z∣Y,θ(i))P(Y∣θ(i))B(\theta,\theta^{(i)})=L(\theta^{(i)})+\sum\limits_ZP(Z|Y,\theta^{(i)})\log \frac{P(Y|Z,\theta)P(Z|\theta)}{P(Z|Y,\theta^{(i)})P(Y|\theta^{(i)})}B(θ,θ(i))=L(θ(i))+Z∑​P(Z∣Y,θ(i))logP(Z∣Y,θ(i))P(Y∣θ(i))P(Y∣Z,θ)P(Z∣θ)​
则
L(θ)≥B(θ,θ(i))L(\theta)\ge B(\theta,\theta^{(i)})L(θ)≥B(θ,θ(i))
又
L(θ(i))=B(θ(i),θ(i))L(\theta^{(i)})= B(\theta^{(i)},\theta^{(i)})L(θ(i))=B(θ(i),θ(i))
因此我们可以使B(θ,θ(i))B(\theta,\theta^{(i)})B(θ,θ(i))增大
θ(i+1)=arg max⁡θB(θ,θ(i))\theta^{(i+1)}=\argmax\limits_{\theta}B(\theta,\theta^{(i)})θ(i+1)=θargmax​B(θ,θ(i))
θ(i+1)=arg max⁡θ(L(θ(i))+∑ZP(Z∣Y,θ(i))log⁡P(Y∣Z,θ)P(Z∣θ)P(Z∣Y,θ(i))P(Y∣θ(i)))\theta^{(i+1)}=\argmax\limits_{\theta}(L(\theta^{(i)})+\sum\limits_ZP(Z|Y,\theta^{(i)})\log \frac{P(Y|Z,\theta)P(Z|\theta)}{P(Z|Y,\theta^{(i)})P(Y|\theta^{(i)})})θ(i+1)=θargmax​(L(θ(i))+Z∑​P(Z∣Y,θ(i))logP(Z∣Y,θ(i))P(Y∣θ(i))P(Y∣Z,θ)P(Z∣θ)​)
=arg max⁡θ(∑ZP(Z∣Y,θ(i))log⁡P(Y∣Z,θ)P(Z∣θ)P(Z∣Y,θ(i))P(Y∣θ(i)))=\argmax\limits_{\theta}(\sum\limits_ZP(Z|Y,\theta^{(i)})\log \frac{P(Y|Z,\theta)P(Z|\theta)}{P(Z|Y,\theta^{(i)})P(Y|\theta^{(i)})})=θargmax​(Z∑​P(Z∣Y,θ(i))logP(Z∣Y,θ(i))P(Y∣θ(i))P(Y∣Z,θ)P(Z∣θ)​)
=arg max⁡θ(∑ZP(Z∣Y,θ(i))log⁡P(Y,Z∣θ))=\argmax\limits_{\theta}(\sum\limits_ZP(Z|Y,\theta^{(i)})\log P(Y,Z|\theta))=θargmax​(Z∑​P(Z∣Y,θ(i))logP(Y,Z∣θ))
=arg max⁡θQ(θ,θ(i))=\argmax\limits_{\theta}Q(\theta,\theta^{(i)})=θargmax​Q(θ,θ(i))
即EMEMEM算法是对极大似然得逼近

EM算法在无监督学习中的应用

   对于训练数据T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},我们可以把xix_ixi​看成观测变量yiy_iyi​看成隐变量,这样就可以利用算法来估计参数

EM算法的收敛性

   设P(Y∣θ)P(Y|\theta)P(Y∣θ)为观测数据的似然函数,θi(i=1,2,...)\theta^{i}(i=1,2,...)θi(i=1,2,...)为EMEMEM算法得到的参数估计,P(Y∣θ(i))(i=1,2,...)P(Y|\theta^{(i)})(i=1,2,...)P(Y∣θ(i))(i=1,2,...)为对应似然函数序列,则P(Y∣θ(i))P(Y|\theta^{(i)})P(Y∣θ(i))是单调递增的,即
P(Y∣θi+1)≥P(Y∣θi)P(Y|\theta^{i+1})\ge P(Y|\theta^{i})P(Y∣θi+1)≥P(Y∣θi)
   证明
P(Y∣θ)≥P(Y,Z∣θ)P(Z∣Y,θ)P(Y|\theta)\ge \frac{P(Y,Z|\theta)}{P(Z|Y,\theta)}P(Y∣θ)≥P(Z∣Y,θ)P(Y,Z∣θ)​
log⁡P(Y∣θ)=log⁡P(Y,Z∣θ)−log⁡P(Z∣Y,θ)\log P(Y|\theta)=\log P(Y,Z|\theta)-\log P(Z|Y,\theta)logP(Y∣θ)=logP(Y,Z∣θ)−logP(Z∣Y,θ)
Q(θ,θ(i))=EZ[log⁡P(Y,Z∣θ)∣Y,θ(i)]Q(\theta,\theta^{(i)})=E_Z[\log P(Y,Z|\theta)|Y,\theta^{(i)}]Q(θ,θ(i))=EZ​[logP(Y,Z∣θ)∣Y,θ(i)]
H(θ,θ(i))=∑Zlog⁡P(Z∣Y,θ)P(Z∣Y,θ(i))H(\theta,\theta^{(i)})=\sum\limits_Z\log P(Z|Y,\theta)P(Z|Y,\theta^{(i)})H(θ,θ(i))=Z∑​logP(Z∣Y,θ)P(Z∣Y,θ(i))
于是对数似然函数可写成
log⁡P(Y∣θ)=Q(θ,θ(i))−H(θ,θ(i))\log P(Y|\theta)=Q(\theta,\theta^{(i)})-H(\theta,\theta^{(i)})logP(Y∣θ)=Q(θ,θ(i))−H(θ,θ(i))
取
log⁡P(Y∣θ(i+1))−log⁡P(Y∣θ(i))\log P(Y|\theta^{(i+1)})-\log P(Y|\theta^{(i)})logP(Y∣θ(i+1))−logP(Y∣θ(i))
=[Q(θ(i+1),θ(i))−Q(θ(i),θ(i))]−[H(θ(i+1),θ(i))−H(θ(i),θ(i))]=[Q(\theta^{(i+1)},\theta^{(i)})-Q(\theta^{(i)},\theta^{(i)})]-[H(\theta^{(i+1)},\theta^{(i)})-H(\theta^{(i)},\theta^{(i)})]=[Q(θ(i+1),θ(i))−Q(θ(i),θ(i))]−[H(θ(i+1),θ(i))−H(θ(i),θ(i))]
由极大定义
[Q(θ(i+1),θ(i))−Q(θ(i),θ(i))]≥0[Q(\theta^{(i+1)},\theta^{(i)})-Q(\theta^{(i)},\theta^{(i)})]\ge 0[Q(θ(i+1),θ(i))−Q(θ(i),θ(i))]≥0
[H(θ(i+1),θ(i))−H(θ(i),θ(i))]=∑Z(log⁡P(Z∣Y,θ(i+1))P(Z∣Y,θ(i)))P(Z∣Y,θ(i))[H(\theta^{(i+1)},\theta^{(i)})-H(\theta^{(i)},\theta^{(i)})]=\sum\limits_Z(\log \frac{P(Z|Y,\theta^{(i+1)})}{P(Z|Y,\theta^{(i)})})P(Z|Y,\theta^{(i)})[H(θ(i+1),θ(i))−H(θ(i),θ(i))]=Z∑​(logP(Z∣Y,θ(i))P(Z∣Y,θ(i+1))​)P(Z∣Y,θ(i))
≤log⁡(∑Z)P(Z∣Y,θ(i+1))P(Z∣Y,θ(i))P(Z∣Y,θ(i))=0\le \log(\sum\limits_Z) \frac{P(Z|Y,\theta^{(i+1)})}{P(Z|Y,\theta^{(i)})}P(Z|Y,\theta^{(i)})=0≤log(Z∑​)P(Z∣Y,θ(i))P(Z∣Y,θ(i+1))​P(Z∣Y,θ(i))=0
最终得证

   设L(θ)=log⁡P(Y∣θ)L(\theta)=\log P(Y|\theta)L(θ)=logP(Y∣θ)为观测数据得对数似然函数,θ(i),i=1,2,...\theta^{(i)},i=1,2,...θ(i),i=1,2,...为EM算法得到的参数序列,L(θ(i))L(\theta^{(i)})L(θ(i))为对应的对数似然函数序列,
则
         (1)如果P(Y∣X)P(Y|X)P(Y∣X)有上界,则L(θ(i))L(\theta^{(i)})L(θ(i))收敛到某一值L∗L^*L∗
         (2)在函数QQQ与LLL满足一定条件下,EM算法得到收敛的θ∗\theta^*θ∗是稳定点

EM算法在高斯混合模型学习中的应用

高斯混合模型

  • 定义高斯混合模型是指具有如下形式的概率分布模型
    P(y∣θ)=∑k=1Kakϕ(y∣θk)P(y|\theta)=\sum\limits_{k=1}^Ka_k\phi(y|\theta_k)P(y∣θ)=k=1∑K​ak​ϕ(y∣θk​)
    其中ak≥0a_k\ge0ak​≥0是系数,∑k=1Kak=1,ϕ(y∣θk)\sum\limits_{k=1}^Ka_k=1,\phi(y|\theta_k)k=1∑K​ak​=1,ϕ(y∣θk​)是高斯分布密度,θk(μk,σk2)\theta_k(\mu_k,\sigma_k^2)θk​(μk​,σk2​)
    ϕ(y∣θk)=12πσkexp⁡(−(y−μk)22σk2)\phi(y|\theta_k)=\frac{1}{\sqrt{2\pi}\sigma_k}\exp(-\frac{(y-\mu_k)^2}{2\sigma_k^2})ϕ(y∣θk​)=2π​σk​1​exp(−2σk2​(y−μk​)2​)
    称为第k个模型

高斯混合模型参数估计的EM算法

  • 推导算法
  1. 明确隐变量,写出完全数据的对数似然函数
    γjk={1第j个观测来自第k个分量模型0其他\gamma_{jk}=\begin{cases} 1 & 第j个观测来自第k个分量模型\\ 0 & 其他\\ \end{cases}γjk​={10​第j个观测来自第k个分量模型其他​
    j=1,2,...,N;k=1,2,...,Kj=1,2,...,N;k=1,2,...,Kj=1,2,...,N;k=1,2,...,K
    于是似然函数
    P(y,γ∣θ)=∏k=1K∏j=1N[akϕ(yi∣θk)]γjkP(y,\gamma|\theta)=\prod\limits_{k=1}^K\prod\limits_{j=1}^N[a_k\phi(y_i|\theta_k)]^{\gamma_{jk}}P(y,γ∣θ)=k=1∏K​j=1∏N​[ak​ϕ(yi​∣θk​)]γjk​
    =∏k=1Kank∏j=1N[12πσkexp⁡(−(yj−μk)22σk2)]=\prod\limits_{k=1}^Ka^{n_k}\prod\limits_{j=1}^N[\frac{1}{\sqrt{2\pi}\sigma_k}\exp(-\frac{(y_j-\mu_k)^2}{2\sigma_k^2})]=k=1∏K​ank​j=1∏N​[2π​σk​1​exp(−2σk2​(yj​−μk​)2​)]
    nk=∑j=1Nγjk,∑k=1Knk=Nn_k=\sum\limits_{j=1}^N\gamma_{jk},\sum\limits_{k=1}^Kn_k=Nnk​=j=1∑N​γjk​,k=1∑K​nk​=N
    log⁡P(y,γ∣θ)=∑k=1K{nklog⁡ak+∑j=1Nγjk[log⁡(12π)−log⁡σk−12σk2(yj−μk)2]}\log P(y,\gamma|\theta)=\sum\limits_{k=1}^K\{n_k\log a_k +\sum\limits_{j=1}^N\gamma_{jk}[\log (\frac{1}{\sqrt{2\pi}})-\log \sigma_k-\frac{1}{2\sigma_k^2}(y_j-\mu_k)^2] \}logP(y,γ∣θ)=k=1∑K​{nk​logak​+j=1∑N​γjk​[log(2π​1​)−logσk​−2σk2​1​(yj​−μk​)2]}
  2. EM算法的E,计算Q
    Q(θ,θ(i))=E[log⁡P(y,γ∣θ)∣y,θ(i)]Q(\theta,\theta^{(i)})=E[\log P(y,\gamma|\theta)|y,\theta^{(i)}]Q(θ,θ(i))=E[logP(y,γ∣θ)∣y,θ(i)]
    =E{∑k=1K{nklog⁡ak+∑j=1Nγjk[log⁡(12π)−log⁡σk−12σk2(yj−μk)2]}}=E\{\sum\limits_{k=1}^K\{n_k\log a_k +\sum\limits_{j=1}^N\gamma_{jk}[\log (\frac{1}{\sqrt{2\pi}})-\log \sigma_k-\frac{1}{2\sigma_k^2}(y_j-\mu_k)^2] \}\}=E{k=1∑K​{nk​logak​+j=1∑N​γjk​[log(2π​1​)−logσk​−2σk2​1​(yj​−μk​)2]}}
    ∑k=1K{∑j=1N(γjk)log⁡ak+∑j=1NE(γjk)[log⁡(12π)−log⁡σk−12σk2(yj−μk)2]}\sum\limits_{k=1}^K\{\sum\limits_{j=1}^N(\gamma_{jk})\log a_k +\sum\limits_{j=1}^NE(\gamma_{jk})[\log (\frac{1}{\sqrt{2\pi}})-\log \sigma_k-\frac{1}{2\sigma_k^2}(y_j-\mu_k)^2] \}k=1∑K​{j=1∑N​(γjk​)logak​+j=1∑N​E(γjk​)[log(2π​1​)−logσk​−2σk2​1​(yj​−μk​)2]}
    E(γjk∣y,θ)=P(γjk=1∣y,θ)E(\gamma_{jk}|y,\theta)=P(\gamma_{jk}=1|y,\theta)E(γjk​∣y,θ)=P(γjk​=1∣y,θ)
    =P(γjk=1∣y,θ)∑k=1KP(γjk=1∣y,θ)=\frac{P(\gamma_{jk}=1|y,\theta)}{\sum\limits_{k=1}^KP(\gamma_{jk}=1|y,\theta)}=k=1∑K​P(γjk​=1∣y,θ)P(γjk​=1∣y,θ)​
    =P(yj∣γjk=1,θ)P(γjk=1∣θ)∑k=1KP(yj∣γjk=1,θ)P(γjk=1∣θ)=\frac{P(y_j|\gamma_{jk}=1,\theta)P(\gamma_{jk}=1|\theta)}{\sum\limits_{k=1}^KP(y_j|\gamma_{jk}=1,\theta)P(\gamma_{jk}=1|\theta)}=k=1∑K​P(yj​∣γjk​=1,θ)P(γjk​=1∣θ)P(yj​∣γjk​=1,θ)P(γjk​=1∣θ)​
    akϕ(yi∣θk)∑k=1Kakϕ(yi∣θk)\frac{a_k\phi(y_i|\theta_k)}{\sum\limits_{k=1}^Ka_k\phi(y_i|\theta_k)}k=1∑K​ak​ϕ(yi​∣θk​)ak​ϕ(yi​∣θk​)​
    记γjk^=E(γjk∣y,θ)\hat{\gamma_{jk}}=E(\gamma_{jk}|y,\theta)γjk​^​=E(γjk​∣y,θ)
    Q(θ,θ(i))=∑k=1K{nklog⁡ak+∑j=1Nγjk^[log⁡(12π)−log⁡σk−12σk2(yj−μk)2]}Q(\theta,\theta^{(i)})=\sum\limits_{k=1}^K\{n_k\log a_k +\sum\limits_{j=1}^N\hat{\gamma_{jk}}[\log (\frac{1}{\sqrt{2\pi}})-\log \sigma_k-\frac{1}{2\sigma_k^2}(y_j-\mu_k)^2] \}Q(θ,θ(i))=k=1∑K​{nk​logak​+j=1∑N​γjk​^​[log(2π​1​)−logσk​−2σk2​1​(yj​−μk​)2]}
  3. EM算法的M,求解极大θ(i+1)=arg max⁡θQ(θ,θ(i))\theta^{(i+1)}=\argmax\limits_{\theta}Q(\theta,\theta^{(i)})θ(i+1)=θargmax​Q(θ,θ(i))
    对参数求导等于0得
    μ^k=∑j=1Nγ^jkyj∑j=1Nγ^jk,    k=1,2,...,K\hat\mu_k=\frac{\sum\limits_{j=1}^N\hat\gamma_{jk}y_j}{\sum\limits_{j=1}^N\hat\gamma_{jk}},\ \ \ \ k=1,2,...,Kμ^​k​=j=1∑N​γ^​jk​j=1∑N​γ^​jk​yj​​,    k=1,2,...,K
    σ^k2=∑j=1Nγ^jk(yj−μk)∑j=1Nγ^jk,    k=1,2,...,K\hat\sigma_k^2=\frac{\sum\limits_{j=1}^N\hat\gamma_{jk}(y_j-\mu_k)}{\sum\limits_{j=1}^N\hat\gamma_{jk}},\ \ \ \ k=1,2,...,Kσ^k2​=j=1∑N​γ^​jk​j=1∑N​γ^​jk​(yj​−μk​)​,    k=1,2,...,K
    a^knkN=∑j=1Nγ^jkN,    k=1,2,...,K\hat a_k\frac{n_k}{N}=\frac{\sum\limits_{j=1}^N\hat\gamma_{jk}}{N},\ \ \ \ k=1,2,...,Ka^k​Nnk​​=Nj=1∑N​γ^​jk​​,    k=1,2,...,K

算法
输入:观测数据y1,y2,...,yNy_1,y_2,...,y_Ny1​,y2​,...,yN​,高斯混合模型
输出:高斯混合模型参数
(1)(1)(1)取参数得初始值开始迭代
(2)(2)(2)E步:依据当前模型参数,计算分模型得响应度
γ^jk=akϕ(yi∣θk)∑k=1Kakϕ(yi∣θk)\hat\gamma_{jk}=\frac{a_k\phi(y_i|\theta_k)}{\sum\limits_{k=1}^Ka_k\phi(y_i|\theta_k)}γ^​jk​=k=1∑K​ak​ϕ(yi​∣θk​)ak​ϕ(yi​∣θk​)​
(3)(3)(3)M步:
μ^k=∑j=1Nγ^jkyj∑j=1Nγ^jk,    k=1,2,...,K\hat\mu_k=\frac{\sum\limits_{j=1}^N\hat\gamma_{jk}y_j}{\sum\limits_{j=1}^N\hat\gamma_{jk}},\ \ \ \ k=1,2,...,Kμ^​k​=j=1∑N​γ^​jk​j=1∑N​γ^​jk​yj​​,    k=1,2,...,K
σ^k2=∑j=1Nγ^jk(yj−μk)∑j=1Nγ^jk,    k=1,2,...,K\hat\sigma_k^2=\frac{\sum\limits_{j=1}^N\hat\gamma_{jk}(y_j-\mu_k)}{\sum\limits_{j=1}^N\hat\gamma_{jk}},\ \ \ \ k=1,2,...,Kσ^k2​=j=1∑N​γ^​jk​j=1∑N​γ^​jk​(yj​−μk​)​,    k=1,2,...,K
a^knkN=∑j=1Nγ^jkN,    k=1,2,...,K\hat a_k\frac{n_k}{N}=\frac{\sum\limits_{j=1}^N\hat\gamma_{jk}}{N},\ \ \ \ k=1,2,...,Ka^k​Nnk​​=Nj=1∑N​γ^​jk​​,    k=1,2,...,K
(4)(4)(4)重复第(2)(2)(2)和第(3)(3)(3)步直到收敛

EM算法的推广

F函数的极大-极大算法

  • 定义假设隐变量数据ZZZ的概率分布为P^(Z)\hat P(Z)P^(Z),定义分布P^\hat PP^与参数θ\thetaθ的函数F(P^,θ)F(\hat P,\theta)F(P^,θ)如下:
    F(P^,θ)=EP^[log⁡P(Y,Z∣θ)]+H(P^)F(\hat P,\theta)=E_{\hat P}[\log P(Y,Z|\theta)]+H(\hat P)F(P^,θ)=EP^​[logP(Y,Z∣θ)]+H(P^)
    称为FFF函数,其中H(P^)=−EP^log⁡P^(Z)H(\hat P)=-E_{\hat P\log \hat P(Z)}H(P^)=−EP^logP^(Z)​是分布P^(Z)\hat P(Z)P^(Z)的熵
       对于固定的θ\thetaθ存在唯一的分布P^θ\hat P_\thetaP^θ​极大化F(P^,θ)F(\hat P,\theta)F(P^,θ),这时P^θ由下式给出\hat P_\theta由下式给出P^θ​由下式给出
    P^θ(Z)=P(Z∣Y,θ)\hat P_\theta(Z)=P(Z|Y,\theta)P^θ​(Z)=P(Z∣Y,θ)并且P^θ\hat P_\thetaP^θ​随θ\thetaθ连续变化
    证明
    拉格朗日函数为
    L=EP^log⁡P(Y,Z∣θ)−EP^log⁡P^(Z)+λ(1−∑ZP^(Z))L=E_{\hat P}\log P(Y,Z|\theta)-E_{\hat P}\log \hat P(Z)+\lambda(1-\sum\limits_Z \hat P(Z))L=EP^​logP(Y,Z∣θ)−EP^​logP^(Z)+λ(1−Z∑​P^(Z))
    ∂L∂P^(Z)=log⁡P(Y,Z∣θ)−log⁡P^(Z)−1−λ=0\frac{\partial L}{\partial \hat P(Z)}=\log P(Y,Z|\theta)-\log \hat P(Z)-1-\lambda=0∂P^(Z)∂L​=logP(Y,Z∣θ)−logP^(Z)−1−λ=0
    得
    λ=log⁡P(Y,Z∣θ)−log⁡P^θ(Z)−1\lambda=\log P(Y,Z|\theta)-\log \hat P_\theta(Z)-1λ=logP(Y,Z∣θ)−logP^θ​(Z)−1
    最终
    P^θ(Z)=P(Z∣Y,θ)\hat P_\theta(Z)=P(Z|Y,\theta)P^θ​(Z)=P(Z∣Y,θ)
       设L(θ)=log⁡P(Y∣θ)L(\theta)=\log P(Y|\theta)L(θ)=logP(Y∣θ) 为观测数据得似然函数,θ(i)\theta^{(i)}θ(i)为EMEMEM算法得到得参数估计,如果F(P^,θ)F(\hat P,\theta)F(P^,θ)在θ∗\theta^*θ∗由局部极大\最大,则在LLL上也是局部极大\最大

   EM算法得一次迭代可由FFF函数得极大-极大算法实现
(1)(1)(1)对于固定得θ(i)\theta^{(i)}θ(i),求P^(i+1)\hat P^{(i+1)}P^(i+1)使F(P^,θ(i))F(\hat P,\theta^{(i)})F(P^,θ(i))极大
(2)(2)(2)对于固定P^(i+1)\hat P^{(i+1)}P^(i+1)求θ(i+1)\theta^{(i+1)}θ(i+1)使F(P^(i+1),θ)F(\hat P^{(i+1),\theta})F(P^(i+1),θ)极大化

GEM算法

算法1
输入:观测数据,FFF函数
输出:模型参数
(1)(1)(1)初始化参数θ(0)\theta^{(0)}θ(0), 开始迭代
(2)(2)(2)固定θ\thetaθ最大化PPP
(3)(3)(3)得到PPP后优化θ\thetaθ
(4)(4)(4)重复(2),(3)(2),(3)(2),(3)
算法2
输入:观测数据,QQQ函数
输出:模型参数
(1)(1)(1)初始化参数θ(0)\theta^{(0)}θ(0), 开始迭代
(2)(2)(2)
Q(θ,θ(i))=EZ[log⁡P(Y,Z∣θ)∣Y,θ(i)]Q(\theta,\theta^{(i)})=E_Z[\log P(Y,Z|\theta)|Y,\theta^{(i)}]Q(θ,θ(i))=EZ​[logP(Y,Z∣θ)∣Y,θ(i)]
=∑ZP(Z∣Y,θ(i))log⁡P(Y,Z∣θ)=\sum\limits_ZP(Z|Y,\theta^{(i)})\log P(Y,Z|\theta)=Z∑​P(Z∣Y,θ(i))logP(Y,Z∣θ)
(3)(3)(3)求θ(i+1)\theta^{(i+1)}θ(i+1)
Q(θ(i+1),θ(i))>Q(θ(i),θ(i))Q(\theta^{(i+1)},\theta^{(i)})>Q(\theta^{(i)},\theta^{(i)})Q(θ(i+1),θ(i))>Q(θ(i),θ(i))
(4)(4)(4)重复(2),(3)(2),(3)(2),(3)
算法3
输入:观测数据,QQQ函数
输出:模型参数
(1)(1)(1)初始化参数θ(0)\theta^{(0)}θ(0), 开始迭代
(2)(2)(2)
Q(θ,θ(i))=EZ[log⁡P(Y,Z∣θ)∣Y,θ(i)]Q(\theta,\theta^{(i)})=E_Z[\log P(Y,Z|\theta)|Y,\theta^{(i)}]Q(θ,θ(i))=EZ​[logP(Y,Z∣θ)∣Y,θ(i)]
=∑ZP(Z∣Y,θ(i))log⁡P(Y,Z∣θ)=\sum\limits_ZP(Z|Y,\theta^{(i)})\log P(Y,Z|\theta)=Z∑​P(Z∣Y,θ(i))logP(Y,Z∣θ)
(3)(3)(3)求θ(i+1),d\theta^{(i+1)},dθ(i+1),d次,求依次优化θi\theta_iθi​,固定其他不变
Q(θ(i+1),θ(i))>Q(θ(i),θ(i))Q(\theta^{(i+1)},\theta^{(i)})>Q(\theta^{(i)},\theta^{(i)})Q(θ(i+1),θ(i))>Q(θ(i),θ(i))
(4)(4)(4)重复(2),(3)(2),(3)(2),(3)

基于STM32与OV7670的嵌入式视频监控系统设计与实现 本文详细介绍了基于STM32单片机与OV7670摄像头的嵌入式视频监控系统设计与实现。从硬件选型、电路设计到软件开发,涵盖了摄像头驱动、TFT显示优化及图像处理等关键技术,提供了实用的调试技巧和性能优化方案,为低成本、高效率的视频监控系统开发提供完整解决方案。 阅读详情

相关推荐

Linux内存压力测试工具【memtester】详且精

对Linux下的压力测试工具memtester有一个比较人性化的概述,以及避坑心得。

weixin_44118923的博客 1万+

李航老师《统计学习方法》第二版第九章课后习题答案

9.1、如例9.1的三硬币模型。假设观测数据不变,试选择不同的初值,例如π(0)=0.46,p(0)=0.55,q(0)=0.67\pi^{(0)}=0.46,p^{(0)}=0.55,q^{(0)}=0.67π(0)=0.46,p(0)=0.55,q(0)=0.67,求模型参数θ=(π,p,q)\theta = (\pi,p,q)θ=(π,p,q)的极大似然估计。 解: 如果按照书上提供公式计算,那么这一题是很简单,但是如果想要理解EM算法在该题上的应用思想,是十分重要的,三硬币模型的具体推导请参考我写的

qq_41626059的博客 6678

Windows电脑如何用MobaXterm连接宇树G1机器人?保姆级SSH配置指南

本文提供了一份详细的保姆级教程,指导Windows用户使用MobaXterm通过SSH连接宇树G1机器人。内容涵盖从物理网络配置、MobaXterm安装与SSH会话创建,到文件传输、X11转发等高级功能,并包含常见问题排查与安全加固建议,帮助开发者快速建立稳定可靠的远程开发连接。

purple的博客 878

《统计学习方法(第二版)》-李航-第九章EM算法及其推广 思维导图笔记及课后练习题目答案(使用python3编写EM算法及在高斯混合模型中的应用)

第九章思维导图总结: import numpy as np 9.1 y = np.array([[1, 1, 0, 1, 0, 0, 1, 0, 1, 1]]).T m = y.shape[0] theta = np.array([[0.46, 0.55, 0.67]]).T # initialization for i in range(100): theta_old = theta.copy() q_theta = (theta[0] * theta[1] ** y * (1 -

qq_26928055的博客 1354

U盘文件变exe?3步教你用火绒+批处理脚本恢复隐藏文档(附注册表修复)

本文详细解析了U盘文件被病毒隐藏并伪装成exe文件的原理,并提供了三步解决方案:首先使用火绒安全软件进行全盘查杀清除病毒;其次通过批处理脚本批量恢复被隐藏的文件属性;最后修复被篡改的注册表设置,彻底解决文件无法显示的问题,帮助用户安全找回数据并加固系统防护。

weixin_28622215的博客 919

程序自动化填写网页表单数据

如何让程序自动化填写网页表单数据,特别是涉及到批量数据情况时,可以减少人力。下面是涉及到的一些场景,都可以通过相关自动化程序实现。

Y 2429

统计学习方法 第九章习题答案

文章目录习题9.1习题9.2习题9.3习题9.4 习题9.1 如例9.1的三硬币模型.假设观测数据不变,试选择不同的初值,例如π0=0.46,p0=0.55,q0=0.67\pi^0=0.46, p^0=0.55,q^0=0.67π0=0.46,p0=0.55,q0=0.67求模型参数θ=(π,p,q)\theta=(\pi,p,q)θ=(π,p,q)的极大似然估计。 例9.1(三硬币模型)假设有3枚硬币,分别记作A,B,C.这些硬币正面出现的概率分别是π,p和q.进行如下掷硬币试验:先掷硬币A,根据其结果

qq_41562704的博客 8160

别再为域名备案发愁了!微信小程序后端调用,试试这个‘官方捷径’——云托管

本文介绍了微信小程序后端部署的新思路——利用微信云托管服务绕过域名备案难题。通过详细的环境准备、数据库配置、服务部署和小程序端调用方案,帮助开发者快速实现小程序与后端服务的无缝对接,大幅缩短上线周期并降低运维成本。

weixin_29243279的博客 680

李航-统计学习方法-习题-第九章

9.2 证明引理 9.2. 引理 9.2 若P~θ(Z)=P(Z∣Y,θ)\widetilde P_\theta(Z)=P(Z|Y,\theta)Pθ​(Z)=P(Z∣Y,θ),则 F(P~,θ)=logP(Y∣θ) F(\widetilde P, \theta)=logP(Y|\theta)F(P,θ)=logP(Y∣θ). 证明: F(P~,θ)=EP~[logP(Y,Z∣θ)]+H(P~)=...

Young 3564

【BIM入门实战】Revit创建地形的几种方法及优缺点

Revit在体量和场地选项卡的【地形表面】工具可以创建三维地形,有三种方法:放置点、指定点文件和导入实例文件、倾斜摄影点云技术和InfraWorks地形生成。 文章目录1. 放置点2. 指定点文件3. 导入实例文件4. 倾斜摄影点云技术5. InfraWorks地形生成 1. 放置点 放置点功能位于体量和场地选项卡下地形表面,点开找到放置点,并通过自定义设置点的高程值来创建地形的高程数据。 优点:通过用户自定义高程点来绘制模型,使地形更为精确。 缺点:只适用于面积小的项目,面积太大,人工效率低下。 .

智慧空间实验室 4763

基于 YOLOv26 的食品包装缺陷检测系统:智能视觉质检方案

本文提出了一种基于YOLOv26深度学习的食品包装缺陷智能检测系统。该系统能够自动识别多种常见包装缺陷,包括密封不良、破损、污染、标签错误等8类问题。相比传统人工检测方法,该系统具有高精度、多类别分类、实时推理等优势。文章详细介绍了系统架构,包含数据采集、预处理、YOLOv26检测模型和后处理四个核心模块,并提供了完整的环境配置和数据处理代码实现。该系统为食品包装行业提供了一种高效、准确的智能视觉质检解决方案。

一键难忘的博客 691

统计学习方法 第九章 EM算法及其推广

第九章 EM算法及其推广 EM算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计,或极大后验概率估计。EM算法的每次迭代由两步组成:E步,求期望;M步,求极大。 概率模型(生成模型) 9.1 EM算法的引入 EM算法对初值敏感,是局部最优的 Q函数定义: 完全数据的对数似然函数logP(Y,Z|Θ)关于在给定观测数 据Y和当前函数Θ(i)下对未观测数据Z的条件概率分布P(Z|...

weixin_41045344的博客 319

Vue3 - 详细实现微信公众号H5网页内置浏览器中预览下载word文档(doc)、excel表格(xls)、ppt文稿、pdf文档等文件,微信内部直接打开预览和下载到本地教程,安卓苹果手机无差异兼容

vue3,nuxt3,微信公众号,h5,移动端,网页,网站,vue微信内置浏览器下载文件,下载文件,在微信浏览器里面实现下载任意文件,H5需要在微信浏览器中下载excel文件,实现网页在微信内置浏览器中下载文件详细教程,安卓点击下载会提示打开浏览器,后端返回流文件,如何解决无法下载文件,跳转至浏览器下载文件,发送到电脑微信,安卓,苹果,手机系统,微信H5页面,vue3微信公众号H5网站,内置浏览器下载文档,如何在微信浏览器中预览office文件,word文档,excel文档,pdf文档,ppt文档,offi

🏆 前端领域优质创作者 1万+

《统计学习方法》第九章 EM算法及其推广

1. EM算法背景 1)用于含有隐变量的概率模型参数的极大似然估计,或极大后验概率估计. 2)概率模型有时候既含有观测变量,又含有隐变量或潜在变量.如果概率模型的变量都是观测变量,那么给定数据,可以直接用极大似然估计法,或贝叶斯估计法估计模型参数.但是当有隐变量时,就不能简单的使用这些估计方法. 3)EM算法的每次迭代由两次组成:求期望、求极大 2. EM(expectation maximiza...

qq_26496077的博客 296

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

李航/徐亦达 统计学习方法第九章EM算法及其推广总结和习题答案

强烈推荐徐亦达老师关于EM算法的讲解视频,本文根据徐老师和李航老师统计学习方法整理,由于公式推导太多,笔记为手写。其中包含混合高斯模型的理解,形象化解释,以及习题链接。 习题 习题9.1和9.3 习题9.4 ...

李滚滚的博客 5239

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

《李航 统计学习方法》学习笔记——第九章EM算法及其推广

EM算法及其推广EM算法二级目录三级目录 EM算法 EM算法:含有隐变量的概率模型参数的极大似然估计法或极大后验概率估计法。每次迭代分为E步(极大期望)和M步(求极大)。 三硬币模型 在这个实例中,抛硬币A的结果(这里记为Z )是无法观测的,所以该结果称之为隐变量。 在该例子中,也可以称(Y,Z)为完全数据,Y为不完全数据 设随意变量Y为观测到的抛硬币的结果(即观测变量),θ=(π,p,q)\theta=(\pi,p,q)θ=(π,p,q)是模型参数,则可以得到模型的似然函数: P(Y∣θ)=∑ZP(

eveiii的博客 928

《统计学习方法》读书笔记——第九章 EM算法及其推广

写在前面 本系列博客是自己对于《统计学习方法》这本书的读书笔记,在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。 目录 写在前面 本章框架 EM算法 EM算法在高斯混合模型中的应用 EM算法的推广 补充知识点 高斯混合模型 本章框架 EM算法 在进行概率模型的参数估计时,如果变量全是可以直接观测的,就可以直接用极大似然估计或贝叶斯估计;如果模型中...

s000da的博客 521

统计学习方法读书笔记第九章:EM算法及其推广

统计学习方法读书笔记第九章:EM算法及其推广统计学习方法读书笔记第九章:EM算法及其推广EM算法的引入EM算法的收敛性EM算法在高斯混合模型学习中的应用EM算法的推广 统计学习方法读书笔记第九章:EM算法及其推广 EM算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计,或极大后验概率估计。EM算法的每次迭代由两步组成:E步,求期望(expectation);M步,求极大(maximiz...

weixin_40692963的博客 541

统计学习方法-李航-第九章EM算法及其推广

统计学习方法-李航-第九章EM算法及其推广 EM算法(即期望极大算法)是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计,或极大后验概率估计。 EM算法由两步组成: ->E步,求期望(expectation) ->M步,求极大值(maximization) 极大似然估计: 给定:模型(参数全部或者部分未知)和数据集(样本) 估计:模型的未知参数 总的来说:极大似然估计就是用来估计模型参数的统计学方法。 在最大似然估计中,我们试图在给定模型的情况下,找到最佳参数,是的这组样本出现的可

熊熊小姐的博客 491

统计学习方法(第二版) 第九章 EM算法及其推广(第一节)

EM算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计或极大化后验概率。

qq_55383558的博客 895

《统计学习方法》第九章: EM算法及其推广 读书笔记

文章目录9.EM算法及其推广9.1概念9.1.1模型解释9.2EM算法9.2.1推导9.2.2算法9.2.3 算法的收敛性9.3EM在高斯混合模型中的应用9.3.1高斯混合模型推导过程似然函数对数似然函数算法E步算法M步9.3.2高斯混合模型参数估计的EM算法 9.EM算法及其推广 EM算法(expectation maximization algorithm,期望极大算法) 是一种非监督模型 ...

虎哥的铲屎员 589

统计学习方法学习笔记:第九章.EM算法及其推广

第九章:EM算法及其推广

weixin_44692791的博客 341

机器学习理论《统计学习方法》学习笔记:第九章 EM算法及其推广

第九章 EM算法及其推广摘要9.1 EM算法的引入9.1.1 EM算法9.1.2 EM算法的导出9.1.3 EM算法在无监督学习中的应用9.2 EM算法的收敛性9.3 EM算法在高斯混合模型中的应用9.3.1 高斯混合模型9.3.2 高斯混合模型参数估计的EM算法9.4 EM算法的推广9.4.1 F函数的极大-极大算法9.4.2 GEM算法概要 摘要 EM算法是一种迭代算法,1977年由Dempster等人总结提出,用于含隐变量(Hidden variable)的概率模型参数的极大似然估计,或极大后验概率估

紫芝的博客 984

统计学习方法笔记_cbr:第九章 EM算法及其推广

概率模型有时含有观测变量,又含有隐变量或潜在变量。EM算法就是含有的的极大似然估计法;EM算法是一种迭代算法,算法的迭代由两步组成E步求期望;M步求极大;9.1.1EM算法EM算法与初值有关,不同的初值可能对应不同的参数值;观测随机变量的数据和隐随机变量的数据称为完全数据;单单只有观测随机变量的数据叫不完全数据;EM算法通过迭代求模型的极大似然估计;=>同过使下界增大来使得对数似然函数L(θ)增大;缺点如图下界极大值点对应的并非是L(θ)的极大值;............

chenburong2021的博客 220

统计学习方法第九章——EM算法及其推广

式子(9.20)推导补充 这里使用逆推法。 式子(9.34)推导补充 引理9.2 即式子(9.36)的证明

weixin_43869610的博客 322

李航《统计学习方法》学习笔记之——第九章:EM算法及其推广(高斯混合模型)

“李航《统计学习方法》学习笔记”系列教程以李航老师《统计学习方法》为基础,系列笔记内容主要包括我学习过程中对于书中算法原理的理解和重点知识的汇总。 由于能力有限,不足支持请大家多多指正,大家有什么想法也非常欢迎留言评论! 关于我的更多系列学习笔记,欢迎您关注“武汉AI算法研习”公众号! 本文分三个部分“【针对朴素贝叶斯法的理解】”、“【朴素贝叶斯算法原理】”、“【文本分类上应用】”来...

码农的科研笔记 1818

统计学习方法(第二版) 第九章 EM算法及其推广(第二节)

上一节简单介绍了EM算法的思想,以及EM算法背后数学原理的支撑。回顾EM算法是迭代算法,有两个步骤首先是E步:根据设定的参数及结果算出隐变量的期望。其次是M步:此步也称为最大化步,根据所得的隐变量的期望,利用极大似然估计计算出下一组迭代参数,反复进行最后直到模型收敛。本节根据EM算法在高斯混合模型学习中的应用,和广义EM算法,有了上一节的基础这节学起来会轻松许多。

qq_55383558的博客 412
上一篇: 《统计学习方法》(第八章)——提升方法
下一篇: 《统计学习方法》(第十章)——隐马尔科夫模型
mkopvec
博客等级 码龄8年 22粉丝 331原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值