论文阅读U-KAN Makes Strong Backbone for MedicalImage Segmentation and Generation

作为一种非常有潜力的代替MLP的模型,KAN最终获得了学术界极大的关注。在我昨天的博客里,解读了最近的热门模型KAN:

论文阅读KAN: Kolmogorov–Arnold Networks-优快云博客

KAN的原文作者提到了很多不足。本文算是对其中两个现有不足的回应,也就是:1)KAN不仅只能用于特定结构和深度,2)KAN不仅能用于小规模AI+Science任务,还可以用于更大规模或更复杂的任务。

本文将KAN融入了U-Net网络结构中,并运用在医学图像分割任务上。

1,U-KAN架构

整体结构如图,是个U-Net经典的对称编解码器结构。编解码器都有卷积部分和token化KAN模块部分组成。卷积部分如U-Net一样,不赘述。

Token化的KAN模块:

1)token化:首先对特征进行重塑,得到一系列扁平化的二维patch。接着进行线性投影,线性投影是通过一个核大小为3的卷积层实现的。卷积层足以编码位置信息,并且其性能实际上优于标准的位置编码技术。

2)KAN块:在获取到token之后,我们将它们传入一系列的KAN层(N=3)。在每个KAN层之后,特征会通过一个高效的深度卷积层(DwConv)、一个批量归一化层(BN)和一个ReLU激活函数。此外,还是用了残差连接。

2,消融实验

1)KAN层层数影响

2)KAN层换成MLP的话,结果会下降(在我看来本文最重要的结论也就是这个)

3)模型规模的影响

3,与SOTA对比

4,本文的缺陷与不足

本文在我看来有两个主要不足:

1)训练难度:KAN至关重要的训练难度问题没有提及。将KAN结构嵌入U-Net是否会导致训练变得不稳定或难以收敛呢?训练速度会慢多少呢?

2)实验对比不充分,结果可能不SOTA

本文的对比实验,完全没有对比基于Transformer的图像分割模型,对比的几个模型要么是纯卷积模型,要么是卷积+MLP模型。那么我们是否可以认为U-KAN的结果逊于主流的Transformer分割模型?

5总结

在我看来,虽然本文模型大概率并不SOTA,但是也不是非要SOTA的模型和实验才有价值。

本文的价值在于验证了KAN可以用于更广泛的数据集,并且在更多场景下展现了超越和取代MLP的潜力。

### 对 U-KAN 的潜在改进方向 #### 1. **优化 KAN 层的设计** 尽管当前的研究表明三层 KAN 层的表现最佳[^2],但这并不意味着这是最优解。可以通过调整 KAN 层的具体架构来进一步提高性能。例如,增加每层的神经元数量或改变激活函数可能带来更好的效果。此外,探索动态自适应机制以根据输入数据特性自动调节 KAN 层的数量和参数也是一个值得尝试的方向。 #### 2. **引入注意力机制** 在现有的 U-KAN 结构中加入注意力模块可以帮助模型更加关注重要的特征区域。这种增强不仅适用于医学图像分割任务,在其他视觉领域也有广泛应用价值。具体来说,可以在编码器与解码器之间嵌入多头注意力机制或多尺度空间注意力建模复杂背景下的目标边界信息[^3]。 ```python import torch.nn as nn class AttentionModule(nn.Module): def __init__(self, channels): super(AttentionModule, self).__init__() self.conv = nn.Conv2d(channels, channels//8, kernel_size=1) self.softmax = nn.Softmax(dim=-1) def forward(self, x): m_batchsize, C, height, width = x.size() proj_query = self.conv(x).view(m_batchsize,-1,width*height).permute(0,2,1) proj_key = self.conv(x).view(m_batchsize,-1,width*height) energy = torch.bmm(proj_query,proj_key) attention = self.softmax(energy) return attention ``` #### 3. **融合多模态数据处理能力** 目前大多数基于 U-Net 或其变体的工作主要集中在单一模态的数据上(如MRI)。然而,在实际临床应用场景中往往需要综合考虑来自不同成像技术的结果。因此扩展 U-KAN 支持多源异质性医疗影像分析将是未来一个重要趋势之一[^1]。 #### 4. **降低计算资源消耗** 虽然实验显示 U-KAN 在精度上有显著优势,但同时也伴随着较高的运算需求。为了使该算法更适合边缘设备部署或者大规模实时在线服务场景,有必要对其内部操作流程做进一步精简压缩处理。比如采用低秩分解近似代替原始矩阵乘法;利用量化技术减少存储开销等等措施均能有效缓解这一矛盾状况。 ---
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蓝海渔夫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值