系列文章目录
文章目录
- 系列文章目录
- 1、 L M i ( θ ) = − E t m s k ∼ t l o g P θ ( t m s k ∣ t ¬ m s k , M ¬ i ) \mathcal{L}_{M_{i}}(\theta)=-E_{t_{m s k}\sim\mathrm{t~}}logP_{\theta}\left(t_{m s k}\mid t_{\neg m s k},\mathbf{M}_{\neg i}\right) LMi(θ)=−Etmsk∼t logPθ(tmsk∣t¬msk,M¬i) 什么意思
- 2、上面的期望值怎么理解“这个变量在上下文中可能代表图像或文本模态中的特定特征。
- 3、no category information什么意思?
- 论文归纳
1、 L M i ( θ ) = − E t m s k ∼ t l o g P θ ( t m s k ∣ t ¬ m s k , M ¬ i ) \mathcal{L}_{M_{i}}(\theta)=-E_{t_{m s k}\sim\mathrm{t~}}logP_{\theta}\left(t_{m s k}\mid t_{\neg m s k},\mathbf{M}_{\neg i}\right) LMi(θ)=−Etmsk∼t logPθ(tmsk∣t¬msk,M¬i) 什么意思
含义分解
-
自监督学习背景:
- 该公式用于自监督学习中的损失函数,特别是在 Joint Co-Transformer (JCT) 模块中,针对不同模态(如图像、文本、表格、视频和音频)进行特征学习。
-
期望值:
- E t m