【小概念】最大均值差异（Maximum Mean Discrepancy）

最新推荐文章于 2024-07-17 21:42:46 发布
原创 最新推荐文章于 2024-07-17 21:42:46 发布 · 7.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mmd

本文介绍了一种通过将两个分布映射到另一个空间来计算它们之间距离的方法。该方法通过对分布上的每个点进行映射并计算其在新空间中的距离后求和实现。

将两个分布映射到另一个空间计算距离。

计算距离的方法是，计算分布上每一个点映射到另一空间的距离然后求和。


细节可参见：

http://blog.youkuaiyun.com/he_min/article/details/69397975


【DL经典回顾】距离度量大汇总（23-最大均值差异(Maximum mean discrepancy)）
悦学共鸣，温柔以待，汇聚光芒，共同成长
04-10 2703
最大均值差异（Maximum Mean Discrepancy, MMD）是一种用于衡量两个概率分布差异的度量方法，在机器学习和统计学中尤其用于无参数和核方法中。
最大均值差异（Maximum Mean Discrepancy）
Abstinence277的博客
04-15 1103
假设有两组观测到的样本集X={x1,x2,…yn}分别独立同分布采样自分布 p 和分布 q；F需要足够丰富：确保其中一定存在一个函数，使得当均值差异最大时，分布 p和q相等；（1） 需要一个映射函数f∈F：把样本集X和Y中的所有样本映射至对应的函数值；up的存在需要满足一定的条件，如果存在则是空间中的一个点。F需要一定限制：确保可以从有限的样本中获得有效的估计；如何通过 X和 Y 判断分布 p 和 q 是否相同？（2）分别计算它们的均值做差得到一个均值差异；F：在样本空间上的函数集合。
最大均值差异（Maximum Mean Discrepancy (MMD)）
2201_76139143的博客
07-17 2261
最大均值差异是用来衡量两个分布之间的差异，广泛应用于域适应、生成对抗网络（GANs）等场景。——MMD评价两堆数据是否具有相似性。寻找一个"well-behaved"函数f：x——>R∈F，使得下面的目标最大：函数f将分布P和Q中的所有样本映射成一个实数，遍历函数空间F中所有的函数，将这两堆实数的均值差最大值用于衡量分布的差异。如果P=Q，则对于任意的f，都有，故最大差异R=0。如果P和Q很相似，则可能存在很多f使得，因此这些f并不能客观反映出P和Q之间的差异，所以需要选择一个合适的f，使得两个分布最不相似
MATLAB最大均值差异(Maximum Mean Discrepancy)
06-11 2449
MATLAB最大均值差异(Maximum Mean Discrepancy) 作者：凯鲁嘎吉 - 博客园http://www.cnblogs.com/kailugaji/ 更多内容，请看标签：MATLAB、聚类 注：X与Y数据维度必须一致！ 1. MMD介绍 2. MATLAB程序 数据 注：数据集仅供参考，并不能真正用于研究中。 源域： 2.1789 1.7...
深入理解最大均值差异（Maximum Mean Discrepancy, MMD）
m0_53623159的博客
07-01 1万+
MMD的基本思想是通过再生核希尔伯特空间（Reproducing Kernel Hilbert Space, RKHS）中的均值嵌入（mean embeddings）来比较两个分布。MMDPQ;
最大均值差异
鱼香土豆丝
04-06 1万+
引言最大均值差异(maximum mean discrepancy, MMD)提出时候是用来双样本检测，也就直观的判断两个数据的分布。
最大均值差异（Maximum Mean Discrepancy, MMD）复现教程
weixin_43905212的博客
10-14 6105
本文章主要为了复现这个MMD教程中的代码。 pytorch环境安装 下面参考pytorch的官方教程。 这是安装pytorch的先决条件，如果需要用到GPU加速的话还需要下载CUDA驱动。（不过这个小项目就不用啦） 首先需要一个Anaconda做为package manager，为项目建立虚拟环境（因为不同项目对pytorch或者其他包的版本要求不同，不能兼容哦）。 之后要下载项目所需要的pytorch版本。如果项目中有说明具体的pytorch版本，最好下载对应的版本，会省很多问题。在这个MMD项目中没有
最大均值差异java_MATLAB最大均值差异(Maximum Mean Discrepancy)
weixin_35879989的博客
03-01 588
MATLAB最大均值差异(Maximum Mean Discrepancy)更多内容，请看标签：MATLAB、聚类注：X与Y数据维度必须一致！1. MMD介绍 2. MATLAB程序数据注：数据集仅供参考，并不能真正用于研究中。源域：2.17891.78115.0794.93120.86212.12874.98252.33882.63471.95634.53924.84422.71792.9001...
最大均值差异 Maximum Mean Discrepancy(MMD)
thormas1996的博客
03-07 7400
最大均值差异MMD用于衡量两个分部之间的相似性，迁移学习中经常用其来衡量源领域和目标领域的差异性。它的基本假设是：如果对于所有以分布生成的样本空间为输入的函数f，两个分布生成的样本足够多，且其对于函数f所有对应值的均值都相等，那么可以认为这两个分布是同一个分布。 如何用MMD来衡量两个分布的相似性？ 简单来说，就是找一个在样本空间的连续函数f，将两个分布的样本在f上的均值相减，要求函数f使这个差值...
机器学习中的数学——距离定义（二十八）：最大均值差异（Maximum Mean Discrepancy, MMD）
冯·诺依曼
01-09 2万+
最大均值差异（Maximum Mean Discrepancy，MMD）是迁移学习，尤其是 域适应（Domain Adaptation）中使用最广泛的一种损失函数，主要用来度量两个不同但相关的分布的距离。最大均值差异还可以用来测试两个样本，是否来自两个不同分布ppp和qqq，如果均值差异达到最大，就说明采样的样本来自完全不同的分布。 假设有一个满足ppp分布的数据集Xs=[xs1,…,xsn]和一个满足Q分布的数据集Xt=[xt1,…,xtm] 并且存在一个再生希尔伯特空间H(RKHS) 存在一个映射函数ϕ
论文研究 - 使用具有最大平均差异（MMD）的梯形变分自动编码器生成人脸
05-27
生成模型已经证明在从未标记的数据中学习特征方面非常有用。 特别是，可变自动编码器能够对高度复杂的自然分布（例如图像）建模，同时无需标签即可提取自然和人类可理解的特征。 在本文中，我们结合了两类非常有用的模型：可变梯形自动编码器和MMD可变自动编码器，以对人脸图像进行建模。 特别是，我们证明了我们可以解开高度有意义和可解释的功能。 此外，我们能够对人脸执行算术运算并修改人脸以添加或删除高级特征。
MMD_mean_mmd_discrepancy_weekarq_最大均值差异
09-11
利用matlab来实现Maximum Mean Discrepancy（最大均值差异）的计算。
最大均值差异（MMD）的介绍
m0_46861439的博客
05-28 7878
核函数：给定一个非空集合XX，方程kX×X→RkX×X→R，如果存在一个实希尔伯特空间 (R\mathbb{R}R-Hilbert space，实希尔伯特空间因其上的内积的定义的不同而不同) 和一个映射ϕxX→HϕxX→H，使得∀xx′∈X∀xx′∈Xkxx′≔ϕxϕx′Hkxx′ϕxϕx′H​1.对称性：kxx′kx′x。
最大均值差异MMD
X_m_w的博客
11-23 5630
最大均值差异是迁移学习中使用频率最高的度量。 Maximum mean discrepancy，它度量在再生希尔伯特空间中两个分布的距离，是一种核学习方法。简单地理解就是计算两堆数据的均值距离，但是实际比较难计算。就将两个分布映射到另一个空间计算距离。计算距离的方法是，计算分布上每一个点映射到另一空间的距离然后求和。 MMD的基本原理：假设一个满足P分布的数据集和一个满足Q分布的数据集并且存在一...
Maximum Mean Discrepancy理解(MMD)
bbbeoy的专栏
08-23 8854
https://blog.youkuaiyun.com/tunhuzhuang1836/article/details/78058184 MMD理解 1.定义 MMD：maximum mean discrepancy。最大平均差异。参考网上定义为：基于两个分布的样本，通过寻找在样本空间上的连续函数f，求不同分布的样本在f上的函数值的均值，通过把两个均值作差可以得到两个分布对应于f的mean discrepancy。寻找一个f使得这个mean discrepancy有最大值，就得到了MMD。最后取MMD作为检验统计
Maximum Mean Discrepancy理解
热门推荐
tunhuzhuang1836的博客
09-21 3万+
MMD
【算法】最大均值差异（Maximum Mean Discrepancy, MMD）损失函数原理与python代码
zkq_1986的博客
02-02 2万+
MMD介绍 MMD（最大均值差异）是迁移学习，尤其是Domain adaptation （域适应）中使用最广泛（目前）的一种损失函数，主要用来度量两个不同但相关的分布的距离。两个分布的距离定义为： python代码样例： import torch def guassian_kernel(source, target, kernel_mul=2.0, kernel_num=5, fix_si...
MMD~Maximum Mean Discrepancy 最大均值差异 pytorch&tensorflow代码
sinat_34173979的博客
07-27 1万+
基本思想 一个随机变量的矩反应了对应的分布信息，比如一阶中心矩是均值，二阶中心矩是方差等等。如果两个分布的均值和方差都相同的话，它们应该很相似，比如同样均值和方差的高斯分布和拉普拉斯分布。但是很明显，均值和方差并不能完全代表一个分布，这时候我们就需要更高阶的矩来描述一个分布。 MMD的基本思想就是，如果两个随机变量的任意阶都相同的话，那么两个分布就是一致的。而当两个分布不相同的话，那么使得两个...
【ML算法学习】多核最大均值差异（MK-MMD）与深度适应网络（DAN）
悦学共鸣，温柔以待，汇聚光芒，共同成长
10-20 1万+
多核最大均值差异Multiple Kernel Maximum Mean Discrepancy（MK-MMD）与深度适应网络Deep Adaptation Network（DAN）
MMD（Max mean discrepancy 最大均值差异
最新发布
03-08
<think>好的，我现在需要详细回答用户关于MMD（最大均值差异）的问题。首先，用户之前询问了迁移学习中参数冻结训练的损失函数，现在转向MMD，可能是因为在迁移学习或领域适应中遇到了分布差异的问题。MMD常用于比较两个分布的差异，尤其是在无监督领域适应中，所以用户可能是在研究如何减小源域和目标域之间的分布差异。 首先，我需要回顾MMD的基本概念。MMD是一种基于核方法的统计检验，用于判断两个分布是否相同。它的核心思想是在再生核希尔伯特空间（RKHS）中计算两个分布嵌入的均值之间的差异。如果差异为零，则两个分布相同；否则存在差异。 接下来，我需要解释MMD的数学公式。用户可能需要公式来理解其工作原理。MMD的平方可以表示为两个分布样本的期望通过核函数计算后的差值。公式包括单样本和双样本的情况，可能需要详细推导，但用户可能更关注应用，所以应保持公式清晰但不过于复杂。 然后，需要讨论MMD的关键特性，比如无参数、核选择的重要性、计算复杂度等。这些特性影响实际应用，比如核函数的选择会影响MMD的表现，高斯核或拉普拉斯核是常用选择。 应用场景方面，用户可能对迁移学习、生成模型和假设检验感兴趣。特别是迁移学习中的领域适应，使用MMD作为损失函数来对齐源域和目标域的特征分布。这里需要举例说明，比如在图像分类中，如何用MMD损失来减小领域间差异。 与KL散度的对比是必要的，因为用户可能熟悉KL散度，但MMD有不同优势，比如不需要密度估计，适用于高维空间。这部分需要简明扼要地比较两者的优缺点。 最后，提供代码示例能帮助用户快速上手。使用PyTorch实现MMD，并说明在训练过程中如何将其作为损失函数。同时，给出调参建议，比如核带宽的选择和计算优化，这对实际应用很重要。 需要确保回答结构清晰，分点明确，公式正确使用LaTeX，并且语言通俗易懂。避免过于学术化的术语，但保持专业性。检查是否有遗漏的关键点，比如MMD的计算方法、核函数的影响、实际应用中的注意事项等。同时，注意与用户之前的提问联系起来，指出MMD在迁移学习中的作用，以保持连贯性。</think>以下是关于MMD（最大均值差异，Maximum Mean Discrepancy）的详细介绍： --- ### **MMD的本质与目标** MMD是一种**基于核方法的分布差异度量**，核心思想是：通过将数据映射到**再生核希尔伯特空间（RKHS）**，比较两个分布的均值嵌入（Mean Embedding）是否一致。若两分布相同，则它们的均值嵌入在RKHS中重合；反之则存在差异。 --- ### **数学定义** #### 1. 单样本估计公式 $$ \text{MMD}^2(P, Q) = \mathbb{E}_{x,x' \sim P}[k(x,x')] + \mathbb{E}_{y,y' \sim Q}[k(y,y')] - 2\mathbb{E}_{x \sim P, y \sim Q}[k(x,y)] $$ 其中 \( k(\cdot,\cdot) \) 是核函数（如高斯核 \( k(x,y) = \exp(-\frac{\|x-y\|^2}{2\sigma^2}) \)） #### 2. 实际计算的无偏估计（常用） 对样本 \( X = \{x_i\}_{i=1}^n \sim P \)，\( Y = \{y_j\}_{j=1}^m \sim Q \): $$ \text{MMD}^2 = \frac{1}{n(n-1)}\sum_{i \neq j} k(x_i,x_j) + \frac{1}{m(m-1)}\sum_{i \neq j} k(y_i,y_j) - \frac{2}{nm}\sum_{i,j} k(x_i,y_j) $$ --- ### **关键特性** 1. **无参数检验**：无需假设数据分布形式 2. **核依赖性**：结果高度依赖核函数选择 3. **计算复杂度**：\( O((n+m)^2) \)，大规模数据需优化 4. **零值定理**：当且仅当 \( P=Q \) 时，MMD=0（需核函数是universal kernel） --- ### **典型应用场景** #### 1. 迁移学习/领域适应 - **目标**：对齐源域和目标域的特征分布 - **实现方式**：在特征提取层后添加MMD损失 $$ \mathcal{L} = \mathcal{L}_{\text{task}} + \lambda \cdot \text{MMD}(F_s, F_t) $$ 其中 \( F_s, F_t \) 分别表示源域和目标域的特征 #### 2. 生成对抗网络（GAN） - 替代JS散度衡量生成数据与真实数据分布差异 - 例如：MMD-GAN直接最小化生成样本与真实样本的MMD #### 3. 假设检验 - 判断两组样本是否来自同一分布（p值计算需重采样） --- ### **与KL散度的对比** | 特性 | MMD | KL散度 | |---------------------|------------------------------|--------------------------| | 是否需要密度估计 | 否（直接基于样本） | 是（需已知分布形式） | | 对称性 | 对称（MMD(P,Q)=MMD(Q,P)） | 不对称（KL(P||Q)≠KL(Q||P)）| | 适用范围 | 高维、小样本 | 低维、解析式已知分布 | | 计算复杂度 | 较高（矩阵运算） | 低（闭式解存在时） | --- ### **代码示例（PyTorch实现）** ```python def mmd_rbf(X, Y, sigma=1.0): """ 高斯核MMD计算 """ XX = torch.matmul(X, X.t()) XY = torch.matmul(X, Y.t()) YY = torch.matmul(Y, Y.t()) X_sqnorms = torch.diag(XX) Y_sqnorms = torch.diag(YY) K_XX = torch.exp(-(X_sqnorms.unsqueeze(1) + X_sqnorms.unsqueeze(0) - 2*XX) / (2*sigma**2)) K_XY = torch.exp(-(X_sqnorms.unsqueeze(1) + Y_sqnorms.unsqueeze(0) - 2*XY) / (2*sigma**2)) K_YY = torch.exp(-(Y_sqnorms.unsqueeze(1) + Y_sqnorms.unsqueeze(0) - 2*YY) / (2*sigma**2)) mmd = K_XX.mean() + K_YY.mean() - 2*K_XY.mean() return mmd # 使用示例 source_features = torch.randn(100, 256) # 源域特征 target_features = torch.randn(80, 256) # 目标域特征 loss_mmd = mmd_rbf(source_features, target_features, sigma=5.0) ``` --- ### **调参注意事项** 1. **核带宽选择**（关键！）： - 经验公式：\( \sigma = \text{median\_distance} / \sqrt{2} \) - 多核优化：使用多个不同带宽核的线性组合 2. **计算优化**： - 随机子采样：从大样本中随机抽取子集计算 - 使用Nyström方法近似核矩阵 3. **领域适应中的陷阱**： - 类别比例差异大时，需结合类别权重 - 避免过度对齐导致任务特异性信息丢失 --- MMD为**分布对齐问题**提供了直观的度量工具，但其效果高度依赖核函数设计与计算优化，实际应用中常需结合具体任务进行调整。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值