【论文研读】Similarity of Neural Network Representations Revisited (ICML2019)

最新推荐文章于 2025-09-04 10:30:00 发布
原创 最新推荐文章于 2025-09-04 10:30:00 发布 · 2.1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #ICML #Similarity

该论文（ICML2019）研究了神经网络表示的相似性，关注相似性指数的不变性特性。作者发现早期层相对于后期层更能学习到相似的表示。文章对比了不同相似性结构，如内积基的相似性、Hilbert-Schmidt独立性准则（HSIC）和中心化核对齐（CKA）。CKA被证明在揭示层间对应关系方面最为有效，尤其在不同网络架构中。

Title: Similarity of Neural Network Representations Revisited (ICML2019)

Author：Simon Kornblith ...(Long Beach, California)

目录

Aim:

invariance properties of similarity indexes 分为三个方面

Comparing Similarity Structures

Related Similarity Indexes

Results

Conclusion and Future Work

Aim:

  • one can first measure the similarity between every pair of examples in each representation separately, and then compare the similarity structures.

 

invariance properties of similarity indexes 分为三个方面

1. Invariance to Invertible Linear Transformation

定义：A similarity index is invariant to invertible linear transformation if s(X, Y ) = s(XA, Y B) for any full rank A and  B.

Key sentence：

  • We demonstrate that early layers, but not later layers, learn similar representations on different datasets.
  • Invariance to invertible linear transformation implies that the scale of directions in activation space is irrelevant.
  • Neural networks trained from different random initializations develop representations with similar large principal components 不同初始化得到的主要参数是相似的。因此基于主要参数得到的不同网络间的相似性度量（如欧氏距离）的相似的。A similarity index that is invariant to invertible linear transformation ignores this aspect of the representation, and assigns the same score to networks that match only in large principal components or networks that match only in small principal components.

 2. Invariance to Orthogonal Transformation

定义：s(X, Y ) = s(XU, Y V

最低0.47元/天 解锁文章
快速读论文----CKA----Similarity of Neural Network Representations Revisited
weiwei935707936的博客
12-29 5719
摘要： 最近的工作试图通过比较层之间和不同训练模型之间的表示来理解神经网络的行为。我们研究了基于典型相关分析（CCA）的比较神经网络表示的方法。我们证明了CCA属于用于测量多元相似性的统计量家族，但是CCA和任何其他对可逆线性变换不变的统计量都不能测量比数据点数量更高维度表示之间的有意义相似性。我们引入了一个相似性指数来度量代表性相似矩阵之间的关系，并且不受此限制。该相似性指数相当于中心核对齐（CKA），也与CCA密切相关。与CCA不同的是，CKA可以可靠地识别不同初始化训练的网络中表示之间的对应关系。
【论文阅读笔记】模型的相似性
qq_40432278的博客
04-16 1279
论文提出了柏拉图表征假设（Platonic Representation Hypothesis），认为随着AI模型（特别是深度神经网络）的规模、数据和任务多样性增加，不同模型的表征方式正在收敛到一个共享的、反映现实统计模型的表征，称之为柏拉图表征。这种表征类似于柏拉图《洞穴寓言》中描述的理想现实，捕捉了生成观测数据的世界事件联合分布。
多视图聚类中的alignment
atease0001的博客
01-31 1137
该论文的主要目的是利用多核方法学习到最优的聚类结果（两个kernel,Ku为多核的线性组合，标签表示矩阵的乘积为另一个kernel，然后最大化两个kernel的相似性）。文献【1-4】的对齐方式假设\sumH^vW^v中包含了多视图数据中的所有信息。文献[1]中提出的三种融合方式中的sum方式。从本质上来讲，文献[5]这种alignment方式实际上只利用了多视图数据的一致性信息(认为一致性信息是类别一致)。本质上来讲，就是将alignment加到目标函数中，来学习最终的表示。具体的对齐策略见该文献。
如何更好地测量神经网络表示相似性
weixin_30455023的博客
05-21 1216
近期很多研究试图通过对比神经网络表示来理解神经网络的行为。谷歌大脑 Simon Kornblith、Geoffrey Hinton 等人的一项新研究引入了 centered kernel alignment (CKA) 作为相似性指数，并分析 CKA、线性回归、典型相关分析（CCA）等相关方法之间的关系，证明 CKA 优于其他相似性指数。 在机器学习的很多任务中，深度神经网络可以自动从数...
深度神经网络训练过程中为什么验证集上波动很大_ICML 2019 | Hinton等人新研究：如何更好地测量神经网络表示相似性...
weixin_39652136的博客
12-05 865
近期很多研究试图通过对比神经网络表示来理解神经网络的行为。谷歌大脑 Simon Kornblith、Geoffrey Hinton 等人的一项新研究引入了 centered kernel alignment (CKA) 作为相似性指数，并分析 CKA、线性回归、典型相关分析（CCA）等相关方法之间的关系，证明 CKA 优于其他相似性指数。选自arXiv，作者：Simon Kornblith、Moh...
报告两个结构之间的相似性-Report the similarity between two structures
ychjava的博客
11-28 650
使用工具包首选的比较方法比较两种不同分子的相似性。如果分子完全不相似，则结果必须为0.0；如果分子完全相似，则结果必须为1.0。 在化学信息学中，一个常见的任务是在数据集中找到与查询结构相似的目标结构。“相似”一词定义不清。取而代之的是定义明确的测量方法，希望与化学家所说的类似方法有很好的相关性。 每个工具包都有不同的方法。一些使用散列指纹和Tanimoto，另一些使用特征键。OEChem更倾...
Transformer 眼中世界 Vs. CNN 眼中世界 CKA（Centered Kernel Alignment）方法
taoqick的专栏
12-19 8108
最近帮朋友看毕业 Report，主要对比视觉识别比较前沿的两个模型，ViT（VisionTransformer） 和 EfficientNet. 需要可视化解释一下这两模型对同一任务的不同之处。 EfficientNet 主要组件是 CNN 还好，CNN 在可视化各位大佬都做了，但 ViT 的 Transformer 在图像方面，说实话都不知道可视化哪部分，开头 patch 的转换部分或者 attention map 还行。 刚好看到这篇论文Do Vision Transformers See Li..
CKA-Centered Kernel Alignment：项目核心功能/场景
gitblog_00588的博客
05-04 1191
CKA-Centered Kernel Alignment：项目核心功能/场景 神经网络的表示相似度分析 项目介绍 在现代机器学习领域，理解模型内部表示的相似性是研究的一个重要方向。CKA（Centered Kernel Alignment）是一种衡量神经网络表示相似度的方法，它基于中心化核对齐技术，旨在对神经网络不同层的特征表示进行比较。本项目旨在复现论文《Similarity of Neura...
LLM指纹底层技术——中心核对齐相似度
Arthur Guo 的专栏
07-19 1072
中心核对齐相似度 (Centered Kernel Alignment, CKA)是一种用于量化两组高维向量表示（representations）之间结构相似性的统计方法。在LLM指纹的语境下，它被用来精确测量两个模型（或两个层）在处理同一批输入数据时，其内部神经激活模式 (Neural Activation Patterns)的相似程度。核心思想与价值：传统指纹技术（如文本风格、Logits分布）关注的是模型“说什么”，而CKA关注的是模型“如何思考”。
PyTorch模型比较利器：PyTorch Model Compare
gitblog_00043的博客
06-08 1427
PyTorch模型比较利器：PyTorch Model Compare 在深度学习领域，评估两个神经网络之间的相似性和差异性是至关重要的，无论是为了理解模型的内在工作原理还是进行模型优化。PyTorch Model Compare 是一个微小却强大的工具包，它利用**中心核对齐（Centered Kernel Alignment, CKA）**这一指标来对比两个PyTorch中的神经网络。CKA是...
论文略读：REEF: Representation Encoding Fingerprints for Large Language Models
qq_40206371的博客
06-11 446
等操作具有良好鲁棒性。
Revisiting Nonlocal Self-Similarity from Continuous Representation
步子哥的博客
01-04 1339
这篇论文试图解决什么问题？: 这篇论文试图解决的问题是现有基于非局部自相似性（NSS）的方法仅适用于网格数据（如图像和视频），而不适用于新兴的非网格数据（如点云和气候数据）。：CRNL通过隐式神经表示（INR）学习观测离散数据的连续表示，从而能够统一网格数据和非网格数据的自相似性度量，使其自然适用于这两种数据。：通过耦合的低秩函数分解来表示非局部连续群组，这种方法同时利用了群组内部的相似性以及不同群组之间的相似性。而传统的非局部方法忽略了群组之间的相似性。
详解 CKA（Centered Kernel Alignment）
最新发布
哪惧明天，风高路斜
09-04 1189
本文介绍了CKA（中心化核对齐）方法的核心原理、数学公式和Python实现。CKA通过核函数将特征映射到高维空间，计算两个特征矩阵的相似性，取值范围为[0,1]。文章详细阐述了核矩阵构造、中心化操作和HSIC计算的数学过程，并提供了线性核和RBF核的Python实现代码，包括自动计算RBF核参数的启发式方法。CKA可用于评估神经网络特征表示、模型特征提取能力等场景，支持线性和非线性关系的比较。代码展示了如何计算随机特征矩阵的CKA值，验证了方法的有效性。
Revisiting Nonlocal Self-Similarity from Continuous Representation论文结构（笔记）
sysout_的博客
04-16 169
在连续空间中定义的耦合低秩函数分解，更紧凑和准确地表示所有非局部组，并通过全局提取组间的相关性知识以共享参数的方式进行表示。分组：用学习到的显示表示来计算关键方块与连续方块的相似性，找出前s个相似的组成连续组，坐标对齐，构建新观测数据集（包含s值）。提出的方法能表征连续组间的相似性并且尊重每个连续组的个性（能捕捉组内、组间的相似性）。耦合低秩函数分解：低秩函数分解的不足-->N+1个因子函数共享，核心张量不共享-->耦合低秩函数分解。--基于连续表示的方法。--E.正则化项的设计。--基于基函数的方法。
图文检索（32）：Revisiting Self-Similarity: Structural Embedding for Image Retrieval
zhuzaiyebol的博客
12-03 795
思想：之前只是关注图像的全局表示，本文加入几何结构方法：图像的视觉+结构信息引入全局表示1）特征提取模块视觉信息：原始图像特征结构信息：结构嵌入网络（SENet），捕获图像的内部结构并逐渐将它们压缩为密集的自相似性描述符，同时从各种图像中学习不同的结构2）融合模块和谐地融合视觉和结构信息，而不会破坏基础结构的原始行为。
论文学习笔记：Teachers Do More Than Teach: Compressing Image-to-Image Models
X_Yuki的博客
10-30 865
Teachers Do More Than Teach: Compressing Image-to-Image Models 论文题目： Teachers Do More Than Teach: Compressing Image-to-Image Models 论文链接： https://arxiv.org/pdf/2103.03467.pdf 论文代码：https://github.com/snap-research/CAT 引用方式： @article{2021Teachers, title={T
DeepID face recognition
yiyouxian的专栏
07-14 4183
DeepID face recognition 最近开始看人脸识别方向的论文，对DeepID做了点总结并做成了PPT，写到博客里供大家参考
Transformer 眼中世界 Vs. CNN 眼中世界
weixin_40920183的博客
09-07 983
消失人口回归系列，嗯，这段时间也一直在从事反卷事业。最近帮朋友看毕业 Report，主要对比视觉识别比较前沿的两个模型，ViT（Vision Transformer） 和 Efficien...
Connecting Test Time Predictions to Training Patterns via Spotlights of Attention
c_cpp_csharp的专栏
09-05 133
通过梯度下降训练的神经网络（NN）中的线性层可以表示为键值记忆系统，该系统存储所有训练数据点和初始权重，并在整个训练体验中使用未规范化的点注意力产生输出。虽然自20世纪60年代以来，这在技术上就已经为人所知，但之前没有任何工作以这种形式有效地研究神经网络的操作，可能是由于令人望而却步的时间和空间复杂性以及不切实际的模型大小，所有这些都随着可能变得非常大的训练模式的数量而线性增长。然而，这种对偶公式提供了一种可能性，可以通过检查相应的注意力权重，直接可视化神经网络如何在测试时利用训练模式。
Multi-target association algorithm of AIS-radar tracks using graph matching-based deep neural network code
03-31
### 基于图匹配深度神经网络的AIS雷达轨迹多目标关联算法实现 目前关于基于图匹配深度神经网络（Graph Matching Deep Neural Network, GMDNN）应用于自动识别系统（Automatic Identification System, AIS）雷达轨迹的多目标关联算法的研究较少公开完整的代码实现。然而，可以从已有研究中提取一些关键思路并尝试构建其实现框架。 #### 图匹配与深度学习结合的核心概念 图匹配是一种用于解决结构化数据之间对应关系的方法，在计算机视觉和模式识别领域有广泛应用[^1]。通过引入深度神经网络，可以增强模型的学习能力以及对复杂场景的理解力。对于AIS雷达轨迹中的多目标关联问题，其核心在于如何有效地表示目标之间的动态特性及其相互作用，并利用这些特征完成最优匹配。 一种可能的技术路线如下： 1. **输入表示** 将每条AIS雷达轨迹建模为节点属性向量的形式，其中每个节点代表一个观测到的目标位置信息。边权重则可以通过计算两节点间的时间间隔、距离变化率等因素得到。 2. **图嵌入层** 使用图卷积网络（Graph Convolutional Networks, GCN）或其他形式的图神经网络来捕获局部拓扑结构的信息，从而生成更鲁棒的节点表征[^2]。 3. **相似度矩阵构造** 对两个待比较的图分别经过上述处理后，形成各自的低维表达空间；接着定义某种衡量标准（如余弦距离或欧氏距离），建立它们间的成对相似性得分构成的矩阵。 4. **优化求解器** 针对该二分图最大权匹配问题设计专门的损失函数，借助梯度下降法迭代调整参数直至收敛至全局最优解。 以下是简化版伪代码示例： ```python import torch from torch_geometric.nn import GCNConv class GraphMatchingNet(torch.nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(GraphMatchingNet, self).__init__() self.conv1 = GCNConv(input_dim, hidden_dim) self.conv2 = GCNConv(hidden_dim, output_dim) def forward(self, x, edge_index): h = self.conv1(x, edge_index).relu() z = self.conv2(h, edge_index) return z def compute_similarity_matrix(z1, z2): sim_mat = torch.matmul(z1, z2.t()) norm_z1 = torch.norm(z1, p=2, dim=-1, keepdim=True) norm_z2 = torch.norm(z2, p=2, dim=-1, keepdim=True) normalized_sim_mat = sim_mat / (norm_z1 * norm_z2.T) return normalized_sim_mat # Example usage model = GraphMatchingNet(input_dim=..., hidden_dim=..., output_dim=...) z1 = model(data_x1, data_edge_index1) # Embedding for first graph z2 = model(data_x2, data_edge_index2) # Embedding for second graph similarity_matrix = compute_similarity_matrix(z1, z2) ``` 此部分展示了基本架构的设计理念，具体细节还需依据实际需求进一步完善调试。 ---
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值