【机器学习】最大均值差异MMD详解

最新推荐文章于 2025-06-23 15:42:29 发布
最新推荐文章于 2025-06-23 15:42:29 发布
阅读量1.9w 收藏 43
点赞数 6
分类专栏： 高等数学
MMD（最大均值差异）是一种用于测试两组样本是否来自不同分布的方法，其基本原理是在再生希尔伯特空间中对样本进行映射并求和，以此表述两个数据的分布差异。MMD在风格迁移和迁移学习中应用广泛，尤其作为神经网络的损失函数，用于最小化两个网络间的分布差异。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

引言

最大均值差异(maximum mean discrepancy, MMD)提出时候是用来测试两个样本，是否来自两个不同分布p和q，如果均值差异达到最大，就说明采样的样本来自完全不同的分布。

原理

MMD的基本原理如下所述：假设有一个满足P分布的数据集Xs=[xs1,...,xsn]和一个满足Q分布的数据集Xt=[xt1,...,xtm] 并且存在一个再生希尔伯特空间H(RKHS) 存在一个映射函数ϕ(⋅):X−>H表示从原始空间到希尔伯特空间的一个映射，并且当n,m 趋于无穷时Xsx 和Xtx的最大均值差异可以表示为下式：

p和q相同时，MMD=0。

进一步，


通过上式可以看出，其原理是对每一个样本进行投影并求和，利用和的大小表述两个数据的分布差异。

 

优势

不用借助额外的参数

 

运用

MMD在最近的风格迁移中运用的比较多，其神经网络主要是通过最小化两个网络的分布差异，同时MMD在吴恩达提出最近10年要火的迁移学习中应用很广，很多迁移学习神经网络就是把MMD做为最后的损失函数而进行优化的，并且提出了很多改进方法。
 

转载自：https://blog.youkuaiyun.com/he_min/article/details/69397975

【DL经典回顾】距离度量大汇总（23-最大均值差异(Maximum mean discrepancy)）
悦学共鸣，温柔以待，汇聚光芒，共同成长
04-10 2511
最大均值差异（Maximum Mean Discrepancy, MMD）是一种用于衡量两个概率分布差异的度量方法，在机器学习和统计学中尤其用于无参数和核方法中。
13、最大均值差异（MMD）与希尔伯特 - 施密特独立性准则（HSIC）详解
最新发布
t1u2v的博客
08-20 3
本博客详细介绍了机器学习和统计学中的两个重要概念：最大均值差异（MMD）和希尔伯特-施密特独立性准则（HSIC）。文章涵盖了MMD在希尔伯特空间中的表示形式、特征核与通用核的定义及其判定条件，并探讨了经验过程、拉德马赫复杂度等相关概念。此外，还提供了多个关键命题的证明，如特征核的判定条件、通用核与特征核的关系以及MMD估计的收敛性分析。这些内容对于理解数据分布差异和变量独立性问题具有重要意义。
深入理解最大均值差异（Maximum Mean Discrepancy, MMD）
m0_53623159的博客
07-01 1万+
MMD的基本思想是通过再生核希尔伯特空间（Reproducing Kernel Hilbert Space, RKHS）中的均值嵌入（mean embeddings）来比较两个分布。MMDPQ;
MMD ：maximum mean discrepancy
easylifer的专栏
05-27 4万+
MMD最先提出的时候用于双样本的检测（two-sample test）问题，用于判断两个分布p和q是否相同。它的基本假设是：如果对于所有以分布生成的样本空间为输入的函数f，如果两个分布生成的足够多的样本在f上的对应的像的均值都相等，那么那么可以认为这两个分布是同一个分布。现在一般用于度量两个分布之间的相似性。在[1]中从任意空间到RKHS上介绍了MMD的计算，这里根据这个顺序来介绍。
MMD公式理解
woewo_understand的博客
06-23 150
第三个等式利用积分的性质，将积分移入内积，这依赖RKHS内积的连续性。sup下面的条件表示，映射函数f属于再生希尔伯特空间，并且它的范数不大于1，这一点是必要的，后面会看到。第一个等式是将期望表示成测度论形式（p(dx)是分布p对应的测度），第二个等式是利用RKHS的再生性。对于公式中的均值，可以经过下面的变换。现在已经很简洁了，但是因为μ无法直接得到，所以只能用均值替代计算，X为p分布，Y为q分布。利用内积的性质<a,b>≤||a|| ||b||，我们可以得到下面的公式。
最大均值差异 Maximum Mean Discrepancy(MMD)
thormas1996的博客
03-07 7227
最大均值差异MMD用于衡量两个分部之间的相似性，迁移学习中经常用其来衡量源领域和目标领域的差异性。它的基本假设是：如果对于所有以分布生成的样本空间为输入的函数f，两个分布生成的样本足够多，且其对于函数f所有对应值的均值都相等，那么可以认为这两个分布是同一个分布。 如何用MMD来衡量两个分布的相似性？ 简单来说，就是找一个在样本空间的连续函数f，将两个分布的样本在f上的均值相减，要求函数f使这个差值...
MMD_mean_mmd_discrepancy_weekarq_最大均值差异
09-11
利用matlab来实现Maximum Mean Discrepancy（最大均值差异）的计算。
论文研究 - 使用具有最大平均差异（MMD）的梯形变分自动编码器生成人脸
05-27
生成模型已经证明在从未标记的数据中学习特征方面非常有用。 特别是，可变自动编码器能够对高度复杂的自然分布（例如图像）建模，同时无需标签即可提取自然和人类可理解的特征。 在本文中，我们结合了两类非常有用的模型：可变梯形自动编码器和MMD可变自动编码器，以对人脸图像进行建模。 特别是，我们证明了我们可以解开高度有意义和可解释的功能。 此外，我们能够对人脸执行算术运算并修改人脸以添加或删除高级特征。
最大均值差异分析方法源码详解
资源摘要信息: "MMD_mean_mmd_discrepancy_weekarq_最大均值差异_源码.rar.rar" 在讨论这份资源之前，我们首先需要了解几个关键概念：MMD、最大均值差异（Maximum Mean Discrepancy）、源码以及压缩文件。 MMD全称...
MMD TDA式模型
07-11
在机器学习领域，MMD常用于无监督学习中的分布比较，如生成对抗网络（GANs）的训练，以及两样本检验中判断样本是否来自同一分布。 TDA，全称为Topology Data Analysis（拓扑数据分析），是一种新兴的数据分析方法，...
什么是迁移学习？
学习与分享人工智能技术
11-29 2403
本文详细介绍了迁移学习的概念以及基本策略。
基于类内最大均值差异的无监督领域自适应算法
04-30
传统的无监督领域自适应算法在对齐总体分布时存在分类信息流失问题，难以保证迁移学习效果。针对这个问题，提出了一种基于类内最大均值差异的分布对齐策略。该策略首先预测所有样本的伪标签，然后借助伪标签样本信息依次对齐每个类别的领域类内分布。在深度学习框架下，所提算法能够有效保留分类信息，提高了目标领域的预测能力。实验结果表明，与传统算法比较，所提算法在多个基准数据集上获得了最优的迁移学习效果。
Mean Maximum Discrepancy计算代码 pytorch代码
04-09
Mean Maximum Discrepancy计算代码，分为线性核和高斯核两种，以pytorch书写的
Facebook Folly库：离线在线迁移学习与特征分类详解
在技术层面，文章讨论了迁移学习问题的规范化，包括领域、任务和迁移学习本身的定义，以及度量准则的重要性，如各种距离度量、相似度计算和特定的距离度量方法，如KL散度、JS距离和最大均值差异(MMD)等。这些概念和...
最大均值差异（Maximum Mean Discrepancy, MMD）复现教程
weixin_43905212的博客
10-14 5977
本文章主要为了复现这个MMD教程中的代码。 pytorch环境安装 下面参考pytorch的官方教程。 这是安装pytorch的先决条件，如果需要用到GPU加速的话还需要下载CUDA驱动。（不过这个小项目就不用啦） 首先需要一个Anaconda做为package manager，为项目建立虚拟环境（因为不同项目对pytorch或者其他包的版本要求不同，不能兼容哦）。 之后要下载项目所需要的pytorch版本。如果项目中有说明具体的pytorch版本，最好下载对应的版本，会省很多问题。在这个MMD项目中没有
【代码阅读】最大均值差异（Maximum Mean Discrepancy, MMD）损失函数代码解读（Pytroch版）
热门推荐
a529975125的博客
07-23 5万+
代码及参考资料来源 Source code: easezyc/deep-transfer-learning [Github] 参考资料：迁移学习简明手册 MMD介绍 MMD（最大均值差异）是迁移学习，尤其是Domain adaptation （域适应）中使用最广泛（目前）的一种损失函数，主要用来度量两个不同但相关的分布的距离。两个分布的距离定义为： MMD(X,Y)=||1n∑i=1n...
【ML算法学习】多核最大均值差异（MK-MMD）与深度适应网络（DAN）
悦学共鸣，温柔以待，汇聚光芒，共同成长
10-20 1万+
多核最大均值差异Multiple Kernel Maximum Mean Discrepancy（MK-MMD）与深度适应网络Deep Adaptation Network（DAN）
最大均值差异java_MATLAB最大均值差异(Maximum Mean Discrepancy)
weixin_35879989的博客
03-01 550
MATLAB最大均值差异(Maximum Mean Discrepancy)更多内容，请看标签：MATLAB、聚类注：X与Y数据维度必须一致！1. MMD介绍 2. MATLAB程序数据注：数据集仅供参考，并不能真正用于研究中。源域：2.17891.78115.0794.93120.86212.12874.98252.33882.63471.95634.53924.84422.71792.9001...
迹，最大平均差异，核函数等基本概念理解
SusanZhang1231的博客
06-20 3579
迹，tied-weights,最大平均差异，核函数，正则化
深度学习最大均值差异MMD
02-27
### 关于深度学习中最大均值差异（MMD）的概念 最大均值差异（Maximum Mean Discrepancy, MMD）是在统计学和机器学习领域内广泛应用的一个概念，用于量化两个概率分布之间的距离。具体而言，在高维特征空间中，如果两个分布相同，则它们的样本在该空间内的平均表示也应相等；反之亦然。因此，MMD可以作为检验两组数据是否源自同一分布的有效工具[^1]。 对于给定的概率分布 \(P\) 和 \(Q\) ，以及映射至再生核希尔伯特空间 (RKHS) 的函数 \(\phi(x)\)，MMD被定义为： \[ \text{MMD}(P,Q)=\left \| E_{x∼P}[\phi(x)]−E_{y∼Q}[\phi(y)] \right \|_H^2 \] 其中 \(E_x\) 表示期望运算符，\(H\) 则代表 RKHS 中向量间的范数平方差。此表达式直观反映了当且仅当 P=Q 时，上述方程的结果才可能趋近零的事实[^3]。 ### 最大均值差异的应用场景 MMD不仅限于理论研究，在实际应用方面同样表现出色。特别是在无监督学习、生成对抗网络(GANs)训练过程中的模式崩溃问题解决上有着不可替代的作用。此外，在迁移学习特别是域适配任务里，利用MMD来最小化源域与目标域间输入变量分布上的差距成为了一种常见策略[^2]。 ### 使用 PyTorch 实现 MMD 损失函数 为了便于开发者快速集成并应用于各种深度学习框架之中，社区提供了诸如 `MMD_Loss.Pytorch` 这样的开源库支持。下面给出一段简单的 Python 代码片段展示如何基于 PyTorch 计算 MMD: ```python import torch from torch import nn class MMDLoss(nn.Module): def __init__(self, kernel_mul=2.0, kernel_num=5): super(MMDLoss, self).__init__() self.kernel_num = kernel_num self.kernel_mul = kernel_mul self.fix_sigma = None @staticmethod def guassian_kernel(source, target, kernel_mul=2.0, kernel_num=5, fix_sigma=None): n_samples = int(source.size()[0]) + int(target.size()[0]) total = torch.cat([source, target], dim=0) total0 = total.unsqueeze(0).expand(int(total.size(0)), int(total.size(0)), int(total.size(1))) total1 = total.unsqueeze(1).expand(int(total.size(0)), int(total.size(0)), int(total.size(1))) L2_distance = ((total0-total1)**2).sum(2) bandwidth = [] if fix_sigma: bandwidth.append(fix_sigma) else: for i in range(kernel_num): bandwidth.append((L2_distance.max()/kernel_mul ** i).item()) bandwidth_torch = torch.tensor(bandwidth).to(device='cuda' if source.is_cuda else 'cpu') kernels_value = [torch.exp(-L2_distance / band) for band in bandwidth_torch] return sum(kernels_value) def mmd_loss(source_features, target_features): batch_size = int(source_features.size()[0]) kernels = MMDLoss.guassian_kernel( source_features, target_features, kernel_mul=MMDLoss().kernel_mul, kernel_num=MMDLoss().kernel_num, fix_sigma=None ) XX = kernels[:batch_size, :batch_size] YY = kernels[batch_size:, batch_size:] XY = kernels[:batch_size, batch_size:] YX = kernels[batch_size:, :batch_size] loss = torch.mean(XX + YY - XY -YX) return loss ``` 这段代码实现了多尺度高斯径向基函数(RBF)核下的MMD计算方式，并将其封装成易于调用的形式以便与其他神经网络组件组合使用。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值