机器学习基础--math（8）--排列不变性

最新推荐文章于 2024-03-26 20:49:09 发布
最新推荐文章于 2024-03-26 20:49:09 发布
阅读量3.8k 收藏 7
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 数学
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wydbyxr/article/details/80747005
本文介绍了排列不变性的基本概念，这是一种特性，确保输入顺序的变化不影响输出的结果。通过具体例子阐述了这一特性的重要性和应用场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

排列不变性（permutation invariance）

　　指输入的顺序改变不会影响输出的值。
　　例如，f()就有排列不变性 ：
这里写图片描述

图神经网络 —— 排列不变函数
优快云 精品推荐
11-28 305
不具备排列不变性质的函数：RNN（LSTM）、做差等，结果与输入顺序有关。定义：参数的输入顺序不会影响输出的值，如果。不变函数：均值、求和、最大池化等。函数具有排列不变的性质。
LLMs组件系列：Attention排列不变性与位置编码（超详细）
最新发布
jpw41的博客
08-25 2396
Transformer注意力可并行计算的特性既是其相较于RNN的优势，也使其丢失了时间步语义信息，所以位置编码 (positional encodings) 是Transformer这种并行结构必须要有的，否则机器就会已读乱回。但位置编码原理是什么，工程上怎么实现呢？网上有许多讲解位置编码的方案，但很多都为了文章篇幅而舍弃掉一些前置信息，如果没有基础看起来还是比较吃力的。为此，本文用篇幅换取详细度，介绍详细介绍了当前四种主流的位置编码方案，包看懂的。
机器学习基础1--排列的不变性
sdsc1314的博客
06-08 2405
排列不变性（permutation invariance）：指输入的顺序改变不会影响输出的值。 例如，f()就有排列不变性 ：
机器学习/深度学习论文中常出现的Permutation Invariant解释
Nin7a的博客
12-11 1万+
Permutation Invariant指的是特征之间没有空间位置关系，例如多层感知机，改变像素的位置对最后的结果没有影响 f((x1,x2,x3))=f((x2,x1,x3))=f((x3,x2,x1))f((x1,x2,x3))=f((x2,x1,x3))=f((x3,x2,x1))f((x1,x2,x3))=f((x2,x1,x3))=f((x3,x2,x1)) 但是对卷积网络情况就不同了...
用神经网络解决拼图游戏
deephub
07-31 7288
在一个排列不变性的数据上神经网络是困难的。拼图游戏就是这种类型的数据，那么神经网络能解决一个2x2的拼图游戏吗? 什么是置换不变性（Permutation Invariance）? 如果一个函数的输出不通过改变其输入的顺序而改变，那么这个函数就是一个排列不变量。下面是一个例子。 1) f(x,y,z) = ax + by +cz 2) f(x,y,z) = xyz 如果我们改变输入的顺序，第一个函数的输出会改变，但是第二个函数的输出不会改变。第二个函数是置换不变量。 神经网络的权值映射到特定的输入单元。
#今日论文推荐# 【ICML2022】深入探讨置换敏感图神经网络
w1hsxn的博客
06-06 254
邻接矩阵排列的不变性，即图同构，是图神经网络(GNNs)的首要要求。通常，聚合消息时，节点排列上的不变操作可以满足这个前提条件。
图神经网络基础学习
Chris Blog
03-14 1163
注：本篇博客公式格式没有经过认真编辑，欢迎去我的博客：http://www.pinkman.tech/index.php/tech/2021/gnn-basic/ 或者知乎：https://zhuanlan.zhihu.com/p/356872702 获得更好的阅读体验。 本篇文章旨在通过最直白的语言解释一些GNN中的基础知识，涉及到的内容包括： GNN在现实中的应用 研究图问题的两个重要原则 GNN是如何学习的 GNN中信息如何传递？什么是卷积GNN，注意力GNN和信息传递GNN？ 关于GNN的一些.
深入浅出了解GNN的几种变体
Wisley的读书笔记分享
11-08 4079
接上篇博客，这周主要学习了GraphSAGE，GAT，R-GCN 三种GNN的变体模型，从空域的角度出发，对节点的嵌入表征进行了深入的研究。**（本文作为笔者的学习笔记，如有错误，希望各位读者批评指正）**
CS224W课程学习笔记（五）：GNN网络基础说明
submarineas的博客
03-08 1009
GNN 是对图的所有属性（节点、边、全局上下文）的可优化转换，它保持了图对称性（排列不变性）。这里我们可以构建一个最简单的GNN模型，此GNN在图的每个组件上使用单独的多层感知器（MLP），即分别对图的点、边和全局三个向量分别做一次MLP，用不同的映射函数，如下图所示：但现实是往往很难直接拿到完整的点或者边的信息，可能我们可以获取到所有的边，而缺少了一些点的数据，我们最终的目标是对节点进行预测，所以需要一种方法来从边缘收集信息并将其提供给节点进行预测。
图机器学习及图神经网络学习笔记（三）——————基于CS224W课程及同济子豪兄
qq_46582366的博客
03-26 1162
GNN 的公式为：而CNN 的公式本来为, 我 们可以把它写 成.类比两个式子，再看如下两图我们可以把4*4的卷积看成一个图有9个节点。但是在CNN中，不同位置的邻域分别学习到不同的权重，但是在 GCN 中，卷积核权重由预定义。CNN 可以看作是一个特殊的 GNN, 具有固定的邻居大小和顺序：过滤器的大小是为 CNN 预先定义的。GNN 的优点是它对每个节点处理不同程度的任意图。CNN不是排列不变/等变的。切换像素的顺序会导致不同的输出。
PointNet原理详解
一抹烟霞的博客
05-26 4209
文章目录一、3D点云的挑战二、排序不变性 一、3D点云的挑战 以无序点云作为输入，因此模型需要具备排序不变性 点云的旋转，平移不应该改变点云的类别，因此模型需要具备几何变换不变性 二、排序不变性 排序不变性，即输入的点云的顺序不应该改变点云所代表的物体类别 当一个N×DN \times DN×D 在 N的维度上随意的打乱之后，其表述的应该是同一个物体。为了实现这一点。一个简单的方法是使用对称函数，如SUM和MAX等函数： 因此我们可以利用max函数设计一个很简单的点云网络，如下： 因此我们构造的
机器学习词汇
小沙粒看未来
07-04 2825
1 .permutation-invariant：空间不相关的 local permutation-invariant aggregation:局部的无空间相关性的聚集 例子：convolution neural network 就是 permutation-related. 词汇来自 https://arxiv.org/abs/1902.06673 2. Region of...
(CVPR) PointNet：用于3D分类和分割的点集深度学习 - 详细解读
晨的博客
03-10 2180
PointNet是一种创新的深度学习架构，专为3D点云数据的分类和分割任务设计。它通过直接从原始点云数据学习，成功解决了3D数据处理中的关键挑战，包括数据的无序性和不同尺度的处理。PointNet的核心是利用对称函数构建的网络，能够从任意顺序的点集中学习到代表性的全局特征。此外，它引入了一个独特的“T-Net”（变换网络），确保对点云进行适当的空间变换，增强了模型对于几何变化的鲁棒性。
使用pytorch训练自己的数据集
qq_40356092的博客
09-09 7156
一、introduction 不得不说pytorch的功能十分强大，其中torchvision.datasets已经内置了常用的数据集，我们也可以使用datasets.ImageFolder来加载我们自己的数据集。如果你觉得这两个方法都不能很好的加载你想要的数据集，也可以通过继承dataset类来自定义自己的数据集加载方式。 本文主要介绍前两种加载数据集的方法，然后使用常见的卷积神经网络来训练并测试自己的数据集。 二、加载数据集 2.1 加载FashionMNIST数据集 def load_FashionM
【深度学习】关于Permutation Invariant的解释
恒治学
04-16 3839
Permutation Invariant指的是特征之间没有空间位置关系. 如多层感知机，改变像素的位置对最后的结果没有影响. f((x1,x2,x3))=f((x2,x1,x3))=f((x3,x1,x2))f((x_1,x_2,x_3))=f((x_2,x_1,x_3))=f((x_3,x_1,x_2))f((x1​,x2​,x3​))=f((x2​,x1​,x3​))=f((x3​,x1​,x2​)) 但对卷积网络而言，特征之间则有空间位置关系. 以上解释参考以下问题的回答. What does “p
Permutation Entropy
I fight, so you don't have to
03-30 2768
We introduce complexity parameters for time series based on comparison of neighboring values. The definition directly applies to arbitrary real–world data. For some well–known chaotic dynamical system
神经网络中的不变性
zxyhhjs2017的博客
01-09 2612
个人认为cnn中conv层对应的是“等变性”（Equivariance），由于conv层的卷积核对于特定的特征才会有较大激活值，所以不论 上一层特征图谱（feature map）中的某一特征平移到何处，卷积核都会找到该特征并在此处呈现较大的激活值。这应该就是“等变性” 这种“等变性”是由conv层的 1局部连接 2权值共享 两个特性得到的。 所谓的“形变不变性”，应该指的是，若是特征有较小的...
LBP特征学习及实现
热门推荐
Where there is life, there is hope
01-13 2万+
老外的原文：《Multiresolution gray-scale and rotation invariant texture classification with local binary patterns》 Timo Ojala, Matti PietikaÈ inen,2002   本文将对这篇文章做部分翻译，最后将分别给出下列代码实现 。灰度不变性LBP( gray scale i
【深度学习】平移不变性 (translation invariant)
JNing
12-18 2万+
【深度学习】平移不变性 (translation invariant)
最新Python机器学习库scikit-learn 0.24.2发布
scikit-learn是一个开源的机器学习库，它建立在NumPy、SciPy和matplotlib之上，广泛用于各种机器学习任务，包括分类、回归、聚类等。它旨在提供简单而高效的工具，适用于数据挖掘和数据分析，并且拥有详尽的文档和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值