最大均值差异MMD计算出现nan情况

最新推荐文章于 2024-07-17 21:42:46 发布
原创 最新推荐文章于 2024-07-17 21:42:46 发布 · 612 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #pytorch

文章讨论了在使用PyTorch计算最大均值差异(MMD)时可能会遇到的NaN问题，特别是在p和q矩阵元素相同时。解决方案包括检查数据的线性无关性和调整学习率。代码示例展示了如何计算高斯核以及MMD损失，并提出了在元素全相等时可能出现的问题。

MMD(p,q) > or = 0 ,当p=q的时候才会为0
当时使用pytorch计算的时候可能会出现 为 nan 的情况
这是因为 p和q矩阵中每个元素都是相同的

# 基于pytorch
import torch
from torch.autograd import Variable

def guassian_kernel(source, target, kernel_mul=2.0, kernel_num=5, fix_sigma=None):
    n_samples = int(source.size()[0])+int(target.size()[0])
    total = torch.cat([source, target], dim=0)
    total0 = total.unsqueeze(0).expand
最低0.47元/天 解锁文章
SCUT-Chung
关注
【DL经典回顾】距离度量大汇总（23-最大均值差异(Maximum mean discrepancy)）
悦学共鸣，温柔以待，汇聚光芒，共同成长
04-10 2702
最大均值差异（Maximum Mean Discrepancy, MMD）是一种用于衡量两个概率分布差异的度量方法，在机器学习和统计学中尤其用于无参数和核方法中。
AI人工智能领域数据分析：应对复杂数据的策略
最新发布
AI 领航者的博客
04-12 454
随着物联网、边缘计算和多模态传感器的普及，AI系统面临的数据呈现高维度（数万特征）多模态（文本/图像/时序混合）时空异构（跨地域跨时间戳）噪声污染（缺失值/异常值）等复杂特性。传统数据分析方法在处理这类数据时面临维度灾难、模态割裂、时空建模不足等问题。本文聚焦复杂数据的全生命周期处理策略，涵盖数据采集、清洗、特征工程、算法选择、模型优化到工程部署，提供理论与实践结合的技术指南。核心概念：定义复杂数据特征，构建数据分析技术栈图谱数学与算法：解析降维、多模态融合、时空建模的核心算法原理实战落地。
最大均值差异（Maximum Mean Discrepancy (MMD)）
2201_76139143的博客
07-17 2257
最大均值差异是用来衡量两个分布之间的差异，广泛应用于域适应、生成对抗网络（GANs）等场景。——MMD评价两堆数据是否具有相似性。寻找一个"well-behaved"函数f：x——>R∈F，使得下面的目标最大：函数f将分布P和Q中的所有样本映射成一个实数，遍历函数空间F中所有的函数，将这两堆实数的均值差最大值用于衡量分布的差异。如果P=Q，则对于任意的f，都有，故最大差异R=0。如果P和Q很相似，则可能存在很多f使得，因此这些f并不能客观反映出P和Q之间的差异，所以需要选择一个合适的f，使得两个分布最不相似
最大均值差异（Maximum Mean Discrepancy）
Abstinence277的博客
04-15 1099
假设有两组观测到的样本集X={x1,x2,…yn}分别独立同分布采样自分布 p 和分布 q；F需要足够丰富：确保其中一定存在一个函数，使得当均值差异最大时，分布 p和q相等；（1） 需要一个映射函数f∈F：把样本集X和Y中的所有样本映射至对应的函数值；up的存在需要满足一定的条件，如果存在则是空间中的一个点。F需要一定限制：确保可以从有限的样本中获得有效的估计；如何通过 X和 Y 判断分布 p 和 q 是否相同？（2）分别计算它们的均值做差得到一个均值差异；F：在样本空间上的函数集合。
MMD的快速计算方法
DeniuHe的博客
04-21 683
MMD
最大平均差异（MMD）
BetrayFree的博客
05-24 4323
给定两个样本集和​，它们分别来自两个分布 P 和 Q。MMD 的定义如下：这里，F 是函数集合，通常选择为再生核希尔伯特空间（RKHS）中的函数集。
最大均值差异（MMD）python
02-19
### Python 中实现最大均值差异 (MMD) #### 使用自定义代码实现 MMD 为了计算两个样本集之间的最大均值差异，可以基于核方法来构建相应的函数。下面是一个简单的例子，在该例子中使用高斯径向基函数(RBF)作为核...
论文笔记 : DSCMR_ 深度监督跨模态数据检索（图像-文本）
yi_2345678的博客
01-21 2481
一点补充 什么叫模态：每一种信息来源都可以认为是一种模态，视觉信息、听觉信息都是不同的模态。深度学习多模态融合指机器从文本、图像、语音、视频等多个领域获取信息，每一个领域就是一种模态，实现信息转换和融合，从而提升模型性能的技术，是一个典型的多学科交叉领域。 关于多模态之间的架构可以参考下这篇文章:面向深度学习的多模态融合技术研究综述，这里不过多赘述 文章目录一点补充前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断
迁移学习研究综述及源码实现
传导迁移学习则适用于源域与目标域数据分布不同但任务相同的情况，且目标域仅有未标注数据，此时重点在于调整模型以适应新的数据分布，常见手段有领域自适应（Domain Adaptation）技术，例如基于最大均值差异（MMD）...
pytorch和mmdetection训练出现nan的解决方案
qq_35985044的博客
01-27 3887
本文主要是收集了一些在使用pytorch自带的amp下loss nan的情况及对应处理方案。
Mean Maximum Discrepancy计算代码 pytorch代码
04-09
Mean Maximum Discrepancy计算代码，分为线性核和高斯核两种，以pytorch书写的
最大均值差异（MMD）的介绍
m0_46861439的博客
05-28 7877
核函数：给定一个非空集合XX，方程kX×X→RkX×X→R，如果存在一个实希尔伯特空间 (R\mathbb{R}R-Hilbert space，实希尔伯特空间因其上的内积的定义的不同而不同) 和一个映射ϕxX→HϕxX→H，使得∀xx′∈X∀xx′∈Xkxx′≔ϕxϕx′Hkxx′ϕxϕx′H​1.对称性：kxx′kx′x。
深入理解最大均值差异（Maximum Mean Discrepancy, MMD）
m0_53623159的博客
07-01 1万+
MMD的基本思想是通过再生核希尔伯特空间（Reproducing Kernel Hilbert Space, RKHS）中的均值嵌入（mean embeddings）来比较两个分布。MMDPQ;
最大均值差异
鱼香土豆丝
04-06 1万+
引言最大均值差异(maximum mean discrepancy, MMD)提出时候是用来双样本检测，也就直观的判断两个数据的分布。
最大均值差异 Maximum Mean Discrepancy(MMD)
thormas1996的博客
03-07 7400
最大均值差异MMD用于衡量两个分部之间的相似性，迁移学习中经常用其来衡量源领域和目标领域的差异性。它的基本假设是：如果对于所有以分布生成的样本空间为输入的函数f，两个分布生成的样本足够多，且其对于函数f所有对应值的均值都相等，那么可以认为这两个分布是同一个分布。 如何用MMD来衡量两个分布的相似性？ 简单来说，就是找一个在样本空间的连续函数f，将两个分布的样本在f上的均值相减，要求函数f使这个差值...
机器学习中的数学——距离定义（二十八）：最大均值差异（Maximum Mean Discrepancy, MMD）
热门推荐
冯·诺依曼
01-09 2万+
最大均值差异（Maximum Mean Discrepancy，MMD）是迁移学习，尤其是 域适应（Domain Adaptation）中使用最广泛的一种损失函数，主要用来度量两个不同但相关的分布的距离。最大均值差异还可以用来测试两个样本，是否来自两个不同分布ppp和qqq，如果均值差异达到最大，就说明采样的样本来自完全不同的分布。 假设有一个满足ppp分布的数据集Xs=[xs1,…,xsn]和一个满足Q分布的数据集Xt=[xt1,…,xtm] 并且存在一个再生希尔伯特空间H(RKHS) 存在一个映射函数ϕ
【机器学习】最大均值差异MMD详解
zkq_1986的博客
01-08 2万+
引言 最大均值差异(maximum mean discrepancy, MMD)提出时候是用来测试两个样本，是否来自两个不同分布p和q，如果均值差异达到最大，就说明采样的样本来自完全不同的分布。 原理 MMD的基本原理如下所述：假设有一个满足P分布的数据集Xs=[xs1,...,xsn]和一个满足Q分布的数据集Xt=[xt1,...,xtm] 并且存在一个再生希尔伯特空间H(RKHS) 存在...
【ML算法学习】多核最大均值差异（MK-MMD）与深度适应网络（DAN）
悦学共鸣，温柔以待，汇聚光芒，共同成长
10-20 1万+
多核最大均值差异Multiple Kernel Maximum Mean Discrepancy（MK-MMD）与深度适应网络Deep Adaptation Network（DAN）
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值