互信息及DIM

最新推荐文章于 2024-10-30 13:43:46 发布
转载 最新推荐文章于 2024-10-30 13:43:46 发布 · 126 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://zhuanlan.zhihu.com/p/343772864
文章标签：

#互信息 #DIM

博客提供了一篇参考链接https://zhuanlan.zhihu.com/p/343772864 ，可能与互信息和DIM相关知识有关。
  • 参考
    https://zhuanlan.zhihu.com/p/343772864
yhblog
关注
互信息介绍及MATLAB代码实现
从事脑科学核磁共振方法学研究，在Nature communications等权威期刊发表研究论文，熟练掌握磁共振处理方法和统计学方法，欢迎大家和我交流。
07-17 2617
互信息(Mutual information): 一种量化两个随机变量的非线性依赖性的信息理论度量方法 First, we evaluate the similarity between each connectome harmonic and each of the 7 resting state networks using mutual information, an information theoretical measure quantifying the non-linear dependen
信息论04：从信息熵到互信息——信息共享的数学度量
https://github.com/foxpup11?tab=repositories
05-06 1166
IX;IX;IX;YHX−HX∣YHY−HY∣X这表示知道Y后X不确定性的减少量。
DIM（Learning deep representations by mutual information estimation and maximization）
林小川的博客
09-17 7261
论文：https://arxiv.org/pdf/1808.06670.pdf 摘要： 许多表示学习只使用已探索过的数据空间（称为像素级别），当一小部分数据十分关心语义级别时，该表示学习将不利于训练。论文提出了无监督表示学习，直接学习和估计信息内容，统计或结构约束。论文最大化输入信息和高级特征向量之间的互信息与通过对抗匹配先验分布来控制表示学习的特征。 介绍： 人工智能单元在预测和规划时不...
神经网络高维互信息计算Python实现（MINE）
徐奕的专栏
12-18 7375
论文 Belghazi, Mohamed Ishmael, et al. “Mutual information neural estimation.” International Conference on Machine Learning. 2018. 利用神经网络的梯度下降法可以实现快速高维连续随机变量之间互信息的估计，上述论文提出了Mutual Information Neural Estimator (MINE)。NN在维度和样本量上都是线性可伸缩的，MI的计算可以通过反向传播进行训练。 核心
互信息及其在图表示学习的应用
weixin_45519842的博客
06-21 1159
0 前言近些年的顶会，出现了一部分利用互信息取得很好效果的工作，它们横跨NLP、CV以及graph等领域。笔者最近也在浸淫（meng bi）这一方向，在这里和大家简要分享一些看法，如有雷...
【Pytorch神经网络实战案例】18 最大化深度互信信息模型DIM实现搜索最相关与最不相关的图片
小李的研究生学习日记
03-28 1万+
图片搜索器分为图片的特征提取和匹配两部分，其中图片的特征提取是关键。将使用一种基于无监督模型的提取特征的方法实现特征提取，即最大化深度互信息（DeepInfoMax，DIM）方法。 1 最大深度互信信息模型DIM简介 在DIM模型中，结合了自编码和对抗神经网络，损失函数使用了MINE与f-GAN方法的结合。在此之上，DM模型又从全局损失、局部损失和先验损失3个损失出发进行训练。 1.1 DIM模型原理 性能好的编码器应该能够提取出样本中最独特、具体的信息，而不是单纯地追求过小的重构误差。...
互信息计算(MI)C#实现的完整类
04-20
用C#实现的互信息计算完整可用类，主要用于自然语言处理领域。
Deep InfoMax(DIM)（2019-02-ICLR）
白泓的博客
10-30 1243
本论文提出了一种名为深度信息最大化（DIM）的新方法，通过最大化全局与局部特征之间的互信息来学习无监督表示，能够有效捕捉结构信息（如图像中的局部一致性）。实验结果显示，DIM在多个数据集上表现优于其他无监督学习方法，尤其在分类任务中展现了强大的信息编码能力和灵活性。
基于互信息最大化的无监督学习图像特征表示------P02114198田园，P02114018刘颖，P02114050刘欣让
lily_ahu的博客
07-19 617
他们认为，这是学习更好的和更条理的表示的一个重要方向，有利于未来的人工智能研究。全局互信息是指两个随机变量之间的互信息，它是一个大于等于0的实数，且满足以下条件：当两个随机变量独立时，它们的全局互信息为1;通俗来说可以理解为两个变量交叠的信息，对于两个随机变量，互信息衡量了一个随机变量平均传达了多少关于另一个的信息。，相当于得到了一个更大的 feature map，然后对这个 feature map 用多个1x1的卷积层来作为局部互信息的估算网络 Tlocal。的随机性,成为一个确定的量。
基于最大化互信息模型的图片搜索系统实现
我的博客
02-17 2348
原创：余晓龙 图片搜索系统主要分为特征提取和特征匹配两个部分，其中特征提取是深度学习模型中进行数据处理的主要环节，本文将通过一种基于无监督方式—最大化深度互信息（DIM）方法来进行特征提取，并利用提取出来的低维特征实现图片搜索系统。 1. DIM模型原理 DIM模型是通过计算输入样本与编码器输出的特征向量之间的互信息，利用最大化互信息来实现模型的训练。DIM模型在无监督训练中使用两种约束来表示学习。 （1）最大化输入信息和高级特征向量之间的互信息：如果模型输出的低维特征能够代表输入样本，那么该特征分布与输
DIMP算法.docx
07-29
这些方法首先学习一个嵌入特征，其中通过简单的互相关来计算两个图像区域之间的相似度。然后通过找到与目标模板最相似的图像区域来执行跟踪。但是，这些方法存在一些限制，例如仅仅利用目标外观，忽略了背景外观信息...
互信息的原理、计算和应用
qq_39337332的博客
09-14 6109
互信息的原理、计算和应用Background熵 Entropy交叉熵 Cross Entropy条件熵 Conditional EntropyKL-散度 KL-divergence定义计算方法变分法 Variational approachMutual Information Neural Estimation, MINEDEEP INFOMAX应用迁移学习迁移强化学习自监督学习ReferencesAppendixA.B. Background 熵 Entropy 在信息论中，熵是给定概率下的最佳编码方式[
自监督、对比学习、contrastive learning、互信息、infoNCE等
热门推荐
The smart is sexy
11-16 1万+
对比学习是自监督的一种，现在很火。自监督属于无监督的一种，即没有标记数据，相当于 cluster 聚类来判断物体类别（所以在label少的时候，unsupervised learning可以帮助我们学到data本身的high-level information，这些information能够对downstream task有很大的帮助。） 理解对比学习，首先需要理解 互信息 ，因为只有知道了，我们需要加大什么互信息，才能更好的设计正负样本，从而利用对比学习来设计任务提高。 互信息 [苏神] 好特征的基
高校如何建立科研人员驻企服务的考核标准？_1.docx
12-16
高校如何建立科研人员驻企服务的考核标准？_1
大学如何评估中试基地对区域经济的拉动效应？.docx
12-16
大学如何评估中试基地对区域经济的拉动效应？
IMG_0338.jpg
12-16
IMG_0338.jpg
安卓应用源码Android仿百度地图气泡程序源码
最新发布
12-16
安卓应用源码Android 仿百度地图气泡程序源码
MYVU 2.48.8 安装包
12-16
MYVU 安装包 版本号 2.48.8。
算法设计基于分枝限界法的最短路径求解：优先队列优化的带权有向图路径搜索
12-16
内容概要：本文主要介绍分枝限界法的基本思想与应用，重点阐述其基于广度优先或优先队列的搜索策略。通过节点分支生成子问题，并利用界值进行剪枝，避免无效搜索，提升效率。文中详细说明了该方法的两大核心机制：一是以节点为单位进行扩展，从根节点出发逐步生成子节点；二是基于界值判断是否剪枝，若当前路径长度已不优于最优解则停止扩展。同时给出了使用优先队列实现最短路径求解的具体C++程序，针对带权有向图从起点s到终点t搜索所有最短路径，记录最短路径长度及条数。; 适合人群：具备数据结构与算法基础，正在学习算法设计与分析的高校学生或初级程序员； 使用场景及目标：①理解分枝限界法与回溯法的区别，掌握其在最优化问题中的应用；②通过实际代码掌握优先队列在状态扩展中的使用，深入理解剪枝条件的设计逻辑； 阅读建议：建议结合文中代码仔细分析搜索过程与剪枝条件，手动模拟队列变化流程，加深对分枝限界法执行机制的理解，并可尝试修改图结构验证算法正确性。
MINE互信息
04-01
### MINE (Mutual Information Neural Estimation) 的核心概念 MINE 是一种基于神经网络的方法，用于估算两个高维连续随机变量之间的互信息（Mutual Information, MI）。这种方法的核心在于通过优化目标函数来逼近真实的互信息值。具体来说，MINE 使用了一个参数化的神经网络模型 \( T_\theta \)，并通过最大化下界来估计互信息。 #### 数学基础 设 \( X \) 和 \( Y \) 为两个随机变量，则它们的互信息定义如下： \[ I(X;Y) = \int p(x,y) \log{\frac{p(x,y)}{p(x)p(y)}} dx dy \] 然而，在实际应用中直接计算这一积分通常是不可行的，尤其是当数据分布复杂或者维度较高时。因此，MINE 提出了一个变分形式的目标函数作为互信息的一个下界[^1]： \[ D_{KL}(P_{XY} || P_X P_Y) = I(X;Y) = \sup_T E_{X,Y}[T(X,Y)] - \log(E_X[E_Y[e^{T(X',Y')}]]) \] 其中 \( T \) 表示由神经网络学习得到的评分函数，\( X' \) 和 \( Y' \) 分别是从边缘分布采样的独立样本。 --- ### Python 实现 MINE 以下是使用 PyTorch 编写的简单版本 MINE 算法实现代码： ```python import torch import torch.nn as nn import torch.optim as optim class MineModel(nn.Module): def __init__(self, input_size=2, hidden_size=100): super(MineModel, self).__init__() self.fc1 = nn.Linear(input_size, hidden_size) self.fc2 = nn.Linear(hidden_size, hidden_size) self.fc3 = nn.Linear(hidden_size, 1) def forward(self, inputs): output = torch.relu(self.fc1(inputs)) output = torch.relu(self.fc2(output)) return self.fc3(output) def mine_loss(model, joint_samples, marginal_samples): t_joint = model(joint_samples) t_marginal = model(marginal_samples) # Compute the loss based on the variational form of mutual information. mi_lower_bound = torch.mean(t_joint) - torch.log(torch.mean(torch.exp(t_marginal))) return -mi_lower_bound # We minimize the negative lower bound. # Example usage with synthetic data generation if __name__ == "__main__": batch_size = 512 dim_x = 10 dim_y = 10 # Generate some random samples from a multivariate Gaussian distribution mu = torch.zeros(dim_x + dim_y) cov = torch.eye(dim_x + dim_y) dist = torch.distributions.MultivariateNormal(mu, cov) # Joint and Marginal Samples Generation joint_samples = dist.sample((batch_size,)) marginal_samples = torch.cat([joint_samples[:, :dim_x], dist.sample((batch_size,))[:, dim_x:]], dim=1) # Initialize Model & Optimizer model = MineModel(input_size=dim_x + dim_y) optimizer = optim.Adam(model.parameters(), lr=1e-3) # Training Loop num_epochs = 1000 for epoch in range(num_epochs): optimizer.zero_grad() loss = mine_loss(model, joint_samples, marginal_samples) loss.backward() optimizer.step() if epoch % 100 == 0: print(f"Epoch {epoch}, Loss {-loss.item()}") ``` 此代码实现了基本的 MINE 模型结构以及损失函数的设计，并展示了如何通过梯度下降方法训练该模型以估计互信息。 --- ### 关键点解析 1. **联合分布与边际分布** 联合分布表示的是 \( X \) 和 \( Y \) 同时发生的概率密度；而边际分布则是分别考虑 \( X \) 或者 \( Y \) 单独的概率密度。为了构建合适的输入数据集，通常会从真实的数据集中抽取联合样本和边际样本。 2. **神经网络架构设计** 上述代码中的 `MineModel` 定义了一种简单的多层感知机（MLP），它接受联合样本或边际样本作为输入并输出一个标量值。这个标量值代表了当前样本对于互信息贡献程度的一种评估。 3. **损失函数构造** 基于理论推导得出的公式，我们希望最小化负数形式下的互信息下限，从而间接达到最大似然的目的。 4. **训练过程** 在每次迭代过程中更新权重使得最终能够更精确地反映原始数据间的依赖关系。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值