1. 集合数据处理的“天生难题”与Set Transformer的登场
如果你玩过乐高积木,应该有过这样的体验:把一堆形状各异的积木块倒在地上,无论你怎么打乱它们的顺序,最终用它们拼出来的城堡,样子总是一样的。这堆积木块,就是一个“集合”。在人工智能的世界里,处理这类“集合数据”的需求无处不在,比如分析一组用户评论(谁先谁后不重要,重要的是整体情感)、处理一个点云模型(三维空间中的点没有固定顺序)、或者判断一张图片中多个物体构成的场景类别。
传统的神经网络,比如我们熟悉的循环神经网络(RNN)或者卷积神经网络(CNN),在处理这类数据时,其实有点“水土不服”。RNN天然是为序列设计的,输入顺序一变,输出可能天差地别。CNN虽然对局部平移有一定鲁棒性,但其卷积核滑动的模式也隐含着对空间顺序的假设。这就引出了处理集合数据的核心要求:置换不变性。简单说,就是无论你把输入集合里的元素怎么排列、怎么打乱,模型都应该给出相同的结果。
几年前,一篇名为《Deep Sets》的论文从理论上证明了,一个满足置换不变性的函数,可以通过“对每个元素独立编码,然后对所有编码结果进行求和(或平均)池化”这样的形式来构造。这为处理集合数据提供了一个坚实的理论基础。然而,这个框架中的编码函数(φ)通常比较简单,难以捕捉集合内部元素之间复杂的、高阶的交互关系。这就好比,你只看了每个乐高积木块的颜色,就把它们简单加在一起,却完全忽略了这些积木块之间该如何拼接才能稳固。
这时候,注意力机制,尤其是Transformer中大放异彩的自注意力机制,进入了研究者的视野。自注意力机制能让集合中的每个元素都“看到”其他所有元素,并动态地决定与谁交互、交互多深,这简直是捕捉集合内部结构的完美工具。但是,问题也随之而来:标准自注意力需要对所有元素两两计算关联度,其计算复杂度是输入元素数量n的平方,即O(n²)。当n很大时(比如一个包含成千上万个点的点云),计算开销将变得无法承受。
Set Transformer 正是在这样的背景下诞生的。它的目标非常明确:既要利用自注意力强大的关系建模能力,来超越简单的Deep Sets框架;又要巧妙地改造注意力机制,把那个恼人的O(n²)复杂度给降下来,让它能真正用于处理大规模集合数据。我最初在点云分类任务中尝试它时,就被这种“鱼与熊掌兼得”的设计思路惊艳到了。接下来,我们就一起拆开这个“黑盒”,看看它是如何做到的。
2. 理论基石:从Deep Sets到注意力驱动的置换不变性
要真正理解Set Transformer的巧妙之处,我们得先回到那个理论起点。Deep Sets的工作告诉我们,任何一个对集合X的置换不变函数f(X),理论上都可以被分解成这样的形式:
f(X) = ρ ( Σ_{x∈X} φ(x) )
这个公式看似简单,却蕴含着强大的思想。我们来打个比方:φ(x) 就像是一个“特征提取器”,它独立地观察集合中的每一个元素x(比如一个乐高积木块),并提取出它的特征。然后,Σ(求和)操作是一个“池化器”,它把这些独立的特征全部加起来,抹除了元素之间的顺序信息,生成了一个集合级别的整体特征。最后,ρ 是一个“决策器”,它基于这个整体特征来做出最终的判断(比如这堆积木能拼出什么)。
Set Transformer完全拥抱了这个框架。它把整个模型结构清晰地分成了编码器(Encoder) 和解码器(Decoder) 两部分。编码器负责实现 φ 的功能,但它的内部不再是简单的全连接层,而是由我们后面要讲的、精心设计的注意力模块堆叠而成,目的是为了学习元素间复杂的相互作用。解码器则负责实现 ρ 的功能,它接收编码器输出的、已经融合了交互信息的集合表示,并产生最终的输出。
这里有一个关键点:即使编码器内部使用了注意力这种会让输出随输入顺序变化(即“置换等变”)的机制,但只要最后的池化操作(比如求和或Set Transformer中独特的注意力池化)是置换不变的,那么整个模型就是置换不变的。这为在模型内部使用强大的自注意力机制扫清了理论障碍。
所以,Set Transformer的设计哲学是:在Deep Sets的理论安全屋内,尽情使用注意力机制这把利器来装修(编码),同时想办法解决注意力带来的计算成本过高的问题。 它的所有创新,都围绕着如何高效、优雅地实现这个目标展开。
3. 核心模块拆解:MAB、SAB与效率杀手ISAB
Set Transformer并不是直接把标准Transformer拿过来用,它构建了几个自己的基础积木块。理解这些积木块,是理解其整个架构的关键。
3.1 基础单元:多头注意力块(MAB)
MAB是Set Transformer中最基础的组件,你可以把它看作一个“加强版”的Transformer层。我们回忆一下标准的多头自注意力(Multi-Head Attention, MHA):输入序列经过线性变换得到Q、K、V,然后计算注意力并输出。
MAB在此基础上做了两处重要的“装修”:
- 加入了残差连接(Residual Connection)和层归一化(LayerNorm):这是现代深度网络的标配,有助于训练更深的模型。具体来说,注意力输出会先与最初的输入Q相加,然后做一次层归一化。
- 增加了一个逐位置的前馈网络(row-wise FFN):在注意力层之后,再接一个全连接层(通常包含非线性激活函数),这个操作对每个位置独立进行,用于增强模型的表达能力。同样,这个FFN的输出也会与它的输入相加,并再做一次层归一化。
用伪代码来直观感受一下MAB的前向过程:
def MAB(Q, K):
# 1. 计算多头注意力
attn_output = MultiHeadAttention(Q, K, K)
# 2. 残差连接 + 层归一化 (LN)
H = LayerNorm(Q + attn_output)
# 3. 逐位置前馈网络
ff_output = FeedForward(H)
# 4. 残差连接 + 层归一化
output = LayerNorm(H + ff_output)
return output
你会发现,MAB的输入有两个:Q和K(V由K生成)。这种设计让它非常灵活,既可以用于自注意力(当Q=K时),也可以用于交叉注意力。
3.2 集合注意力块(SAB):最简单的自注意力编码器
有了MAB,构建一个标准的集合自注意力模块就非常简单了。SAB的定义极其简洁:
SAB(X) = MAB(X, X)
也就是说,直接把同一个集合X同时作为MAB的Q和K输入。这样,SAB就在集合X的所有元素之间执行了标准的自注意力操作,输出一个大小相同的、但每个元素都融合了全局上下文信息的新集合。如果我们把多个SAB堆叠起来,就得到了一个简化版的Transformer编码器(去掉了位置编码),它可以捕捉元素间高阶的、复杂的相互作用。
但是,SAB有一个致命的缺点:它内部使用的仍然是标准的自注意力,计算复杂度是O(n²),其中n是集合的大小。对于大规模集合,这依然是不可承受之重。因此,SAB更像是一个理论上的基准模块,或者在小规模集合上使用的模块。Set Transformer的真正效率秘诀在于下一个模块。
3.3 诱导点集合注意力块(ISAB):将复杂度从O(n²)降至O(mn)
ISAB是Set Transformer论文中最核心的创新点,正是它解决了计算效率的瓶颈。它的设计思想非常巧妙,可以用一个“代表委员会”的比喻来理解。
想象一下,一个公司有n名员工(原始集合X)。如果让每名员工都直接与其他所有n-1名员工沟通一次(SAB的做法),那么总共需要n*(n-1)次沟通,效率很低。现在,我们引入一个由m个人组成的“中层管理委员会”(Induced Set,记为I,这是一个可学习的参数矩阵,大小是 m×d)。这个委员会的人数m远小于员工总数n(例如,n=1000, m=32)。
ISAB的工作分两步走:
- 收集信息(Compression):让这个“管理委员会”(I)去主动关注所有员工(X)。具体来说,是以I作为查询(Q),以X作为键和值(K, V),执行一次MAB交叉注意力。这样,委员会中的每个成员都汇总了全体员工的某方面信息,形成了一个浓缩的、全局的中间表示H。这一步的计算复杂度是O(m*n),因为注意力发生在m个查询和n个键值之间。
- 分发信息(Broadcast):然后,再让所有员工(X)去关注这个已经汇总了全局信息的“管理委员会”(H)。这一步是以X为查询(Q),以H为键和值(K, V),再执行一次MAB交叉注意力。这样,每个员工都从委员会那里获取了全局的、经过提炼的信息。这一步的计算复杂度也是O(n*m)。
所以,ISAB的整体复杂度是O(mn) + O(nm) = O(m*n)。由于m是一个固定的、较小的超参数(比如32或64),因此复杂度从SAB的O(n²)成功降为了与n成线性关系!这就像是通过一个“信息中转站”(诱导点集合I),避免了全员两两直接对话的爆炸式沟通成本。
在代码中,ISAB的实现清晰体现了这两步:
class ISAB(nn.Module):
def __init__(self, dim_in, dim_out, num_heads, num_inds, ln=False):
super(ISAB, self).__init__()
# 可学习的“诱导点”集合 I,形状为 (1, num_inds, dim_out)
self.I = nn.Parameter(torch.Tensor(1, num_inds, dim_out))
nn.init.xavier_uniform_(self.I)
# 第一个MAB: I 关注 X,生成 H
self.mab0 = MAB(dim_out, dim_in, dim_out, num_heads, ln=ln)
# 第二个MAB: X 关注 H,得到最终输出
self.mab1 = MAB(dim_in, dim_out, dim_out, num_heads, ln=ln)
def forward(self, X):
# 将I扩展到批次大小
I_repeated = self.I.repeat(X.size(0), 1, 1) # 形状变为 (batch_size, num_inds, dim_out)
# 第一步:I 关注 X,生成全局摘要 H
H = self.mab0(I_repeated, X) # H 形状: (batch_size, num_inds, dim_out)
# 第二步:X 关注 H,获取全局信息
output = self.mab1(X, H) # output 形状: (batch_size, n, dim_out)
return output
在实际项目中调整num_inds这个超参数时,我发现它是在模型表达能力和计算效率之间取得平衡的关键杠杆。m太小,信息压缩得太厉害,可能丢失细节;m太大,效率提升就不明显了。通常在一些点云任务中,从32或64开始尝试是个不错的选择。
4. 解码与输出:基于多头部注意力的池化(PMA)
编码器(由多个ISAB堆叠而成)处理完后,我们得到了一个富含元素间交互信息的集合表示,形状是 (batch_size, n, d)。现在需要进入解码阶段,也就是实现Deep Sets公式中的 ρ 函数,将这个变长的集合表示转换成一个或几个固定大小的输出。
Set Transformer在这里又用了一个巧妙的注意力技巧,称为基于多头部注意力的池化(Pooling by Multihead Attention, PMA)。它的想法是:与其用简单的求和或平均池化,不如让模型自己学会“如何摘要”这个集合。
PMA引入了一组可学习的种子向量(Seed Vectors),记作S,其形状为 (1, k, d),其中k是我们希望输出的摘要向量的个数。如果我们只想得到一个全局向量(比如用于集合分类),就设k=1;如果我们想得到k个聚类中心(比如用于平摊聚类),就设k>1。
PMA的操作非常直接:PMA_k(X) = MAB(S, X)
这里,我们以可学习的种子向量S作为查询(Q),以编码器输出的集合表示X作为键和值(K, V),通过一个MAB模块。这样,这k个种子向量就会“主动地”去关注整个输入集合X,并从中提取出最重要的信息,最终输出k个摘要向量。这个过程本质上是让模型通过注意力机制学习如何进行池化,比固定的池化函数(如max/mean)更加灵活和强大。
然而,当k>1时,这k个输出向量之间是相互独立的。为了让它们之间也能进行信息交互(比如,在聚类任务中,让不同的聚类中心彼此协调),Set Transformer在PMA之后又接了一个SAB模块:
Output = SAB( PMA_k(X) )
这样,k个摘要向量之间还会再进行一次自注意力交互,最终产生协调后的输出。在源码中,SetTransformer类的解码器通常就是由PMA + SAB + SAB + 线性层构成。
5. 实战演练:用Set Transformer处理点云分类
理论说得再多,不如动手跑一跑。我们以经典的ModelNet40点云分类数据集为例,看看如何搭建一个Set Transformer模型。这里我们使用PyTorch和torch_geometric库(用于方便地加载点云数据集)。
首先,安装必要的库并准备数据:
pip install torch torchvision torch-geometric
由于ModelNet40数据需要额外下载,我们这里用一个简化流程示意。假设我们已经有了一个数据加载器,每次提供一个形状为(batch_size, num_points, 3)的张量,其中num_points是每个点云采样点的数量(如1024),3是每个点的坐标(x, y, z)。
接下来,我们定义模型。我们将构建一个与原始论文中类似的Set Transformer,用于将无序的点云分类为40个类别中的一种。
import torch
import torch.nn as nn
import torch.nn.functional as F
import math
# 复用之前定义的MAB, SAB, ISAB, PMA类(定义见上文)
# ...
class PointCloudSetTransformer(nn.Module):
def __init__(self, num_classes=40, num_points=1024, dim_input=3, num_inds=32, dim_hidden=256, num_heads=4, num_outputs=1, ln=False):
super(PointCloudSetTransformer, self).__init__()
# 首先,用一个简单的线性层将3维坐标映射到隐藏维度
self.input_proj = nn.Linear(dim_input, dim_hidden)
# 编码器:两层ISAB,逐步提取点之间的复杂关系
self.encoder = nn.Sequential(
ISAB(dim_hidden, dim_hidden, num_heads, num_inds, ln=ln),
ISAB(dim_hidden, dim_hidden, num_heads, num_inds, ln=ln)
)
# 解码器:PMA聚合全局信息,SAB让摘要向量交互,最后线性层输出分类
self.decoder = nn.Sequential(
PMA(dim_hidden, num_heads, num_outputs, ln=ln), # num_outputs=1,得到一个全局向量
SAB(dim_hidden, dim_hidden, num_heads, ln=ln),
SAB(dim_hidden, dim_hidden, num_heads, ln=ln),
nn.Linear(dim_hidden, dim_hidden // 2),
nn.ReLU(),
nn.Linear(dim_hidden // 2, num_classes)
)
def forward(self, x):
# x 形状: (batch_size, num_points, 3)
# 1. 投影输入
h = self.input_proj(x) # (batch_size, num_points, dim_hidden)
# 2. 编码
h = self.encoder(h) # (batch_size, num_points, dim_hidden)
# 3. 解码并分类。PMA输出形状: (batch_size, num_outputs=1, dim_hidden)
# 我们需要 squeeze 掉中间的维度1,以匹配线性层的输入
out = self.decoder(h).squeeze(1) # (batch_size, dim_hidden) -> 经过线性层 -> (batch_size, num_classes)
return out
# 实例化模型
model = PointCloudSetTransformer(num_classes=40, num_points=1024, dim_input=3)
print(model)
# 模拟一个批次的数据
batch_size = 16
dummy_points = torch.randn(batch_size, 1024, 3)
output = model(dummy_points)
print(f"输入形状: {dummy_points.shape}")
print(f"输出形状(分类logits): {output.shape}")
在这个简单的例子中,我们直接将点的三维坐标作为输入特征。在实际应用中,你可能会考虑加入点的法向量或其他手工特征,或者在第一层ISAB之前先使用一个小的PointNet-like的网络来提取每个点的局部特征。训练过程就是标准的分类流程:交叉熵损失、Adam优化器等。
我曾在自己的实验中将这个简易的Set Transformer与一个简单的PointNet(仅有多层感知机和最大池化)进行对比。在相同参数量的情况下,Set Transformer在那些需要更强全局上下文理解(比如区分“桌子”和“餐桌”,后者通常周围有更多椅子)的类别上,表现出了优势,这得益于其强大的注意力机制。当然,它的训练速度会比PointNet慢一些,因为注意力计算更复杂,但得益于ISAB,它依然能够处理上千个点的输入,这是标准Transformer难以做到的。
6. 超越分类:Set Transformer的多样化应用场景
Set Transformer的“置换不变性”和“高效注意力”两大特性,使其在众多需要处理无序集合数据的领域大放异彩。点云分类只是冰山一角。
多实例学习(Multiple Instance Learning, MIL):这是Set Transformer一个非常自然的应用场景。例如,在医学图像分析中,一张病理切片被分割成很多个小块(实例),整张切片的诊断标签(比如是否癌变)已知,但每个小块的标签未知。我们可以将这张切片视为一个实例集合,用Set Transformer来学习。编码器(ISAB)让所有图像块之间交换信息,PMA解码器则输出一个全局表示用于分类。模型会自动学习哪些图像块是关键的、与标签相关的“正实例”。
集合异常检测:假设你有一组来自同一台设备的传感器读数(一个时间窗口内的数据点构成一个集合),Set Transformer可以学习正常设备读数集合的分布模式。对于一个新的读数集合,模型可以计算其与正常模式的差异,从而判断设备是否异常。集合的表示能力使得它可以捕捉多个传感器读数之间的联合异常模式。
集合生成与补全:解码器部分可以进行调整,用于生成新的集合。例如,给定一个不完整的点云(部分点缺失),模型可以学习预测缺失的点,生成完整的形状。这通常需要将PMA的输出(k个摘要向量)通过一个解码网络(如另一个注意力模块或全连接层)映射回多个点。
图学习的替代方案:图数据本质上也是节点(元素)的集合,加上边(关系)。Set Transformer通过注意力机制隐式地学习元素间的关系,可以作为一种不显式输入边信息的图神经网络。在一些关系结构不那么严格、或边信息缺失的任务中,Set Transformer可能比传统的GNN更有优势。
在实际选择是否使用Set Transformer时,我会问自己两个问题:第一,我的数据本质上是无序集合吗?第二,集合元素间的交互是否复杂且对任务至关重要?如果两个答案都是肯定的,那么Set Transformer就是一个非常强有力的候选模型。
7. 源码深潜与调参经验
让我们回到官方实现的源码,看看一些在论文中可能被略过,但在实践中至关重要的细节。
LayerNorm的开关:在MAB的实现中,LayerNorm(ln0和ln1)是通过一个ln参数控制是否使用的。这是因为在某些实验设置下,不使用LayerNorm可能效果更好或更稳定。我的经验是,对于较深的网络或者训练不太稳定时,打开LayerNorm通常有帮助。
# 在MAB的forward中
O = torch.cat((Q_ + A.bmm(V_)).split(Q.size(0), 0), 2)
O = O if getattr(self, 'ln0', None) is None else self.ln0(O) # 条件判断
注意力计算细节:注意源码中MAB的注意力计算方式:
A = torch.softmax(Q_.bmm(K_.transpose(1,2))/math.sqrt(self.dim_V), 2)
O = torch.cat((Q_ + A.bmm(V_)).split(Q.size(0), 0), 2)
这里采用了Transformer原论文的缩放点积注意力,并且在注意力输出后直接与原始的Q_相加(Q_ + A.bmm(V_)),这是残差连接的第一步。这与论文公式可能略有不同,但思想一致。
初始化的重要性:注意ISAB中的诱导点I和PMA中的种子向量S,都是用xavier_uniform_方法初始化的。这些是可学习的参数,其初始化对模型收敛速度有影响。我一般不会去改动它,但如果你发现模型学习缓慢,可以检查一下这些参数的初始值是否合理。
超参数调优心得:
dim_hidden(隐藏层维度):这是模型容量的关键。对于点云(输入特征简单),256或512可能就够了;对于特征更丰富的任务(如图像块),可能需要768甚至更高。增大维度能提升表达能力,但也会增加计算量和过拟合风险。num_heads(注意力头数):通常4或8是个不错的起点。多头注意力允许模型在不同的表示子空间里关注不同方面的信息。有时增加头数比单纯增加dim_hidden更有效。num_inds(诱导点数量m):这是平衡效率和性能的阀门。我的经验法则是,可以将其设置为集合期望大小的1/10到1/30。例如,对于1024个点的点云,32或64是常用值。你可以画一个简单的学习曲线:固定其他参数,逐渐增加num_inds,观察验证集性能何时趋于平缓。- 编码器深度:论文中常用2层ISAB。对于更复杂的任务,可以尝试增加到3层或4层。但要注意,Set Transformer没有位置编码,堆叠过深可能收益有限,甚至因过度平滑而性能下降。
调试模型时,一个有用的技巧是可视化注意力权重。虽然ISAB有两步,但你可以查看第二步(mab1)中,原始集合X对全局摘要H的注意力分布。这能告诉你,最终每个元素更关注全局摘要中的哪个“诱导点”,从而间接理解模型的信息整合方式。
401



被折叠的 条评论
为什么被折叠?



