更换前,要用nnUNet V2跑通所用数据集,证明nnUNet V2、数据集、运行环境等没有问题
阅读nnU-Net V2 的 U-Net结构,初步了解要修改的网络,知己知彼,修改起来才能游刃有余。
EGE-UNet 是 UNet 的一个变体,专为皮肤病变分割而设计。它在 UNet 的基础上引入了 GHPA 模块和 GAB 模块,分别用于多维度特征提取和多尺度信息融合。GHPA 运用多轴分组和 Hadamard 乘积机制,能从不同视角提取病理信息,而 GAB 则通过分组聚合和卷积操作,有效整合不同层次和尺度的特征。这种创新设计使得 EGE-UNet 不仅在 ISIC2017 和 ISIC2018 数据集上取得卓越的分割效果,还大幅降低了参数和计算成本,成为低资源环境下理想的分割模型。
EGE-UNet官方代码仓库: https://github.com/JCruan519/EGE-UNet
GHPA 模块的加入,有效解决了传统自注意力机制计算量大的问题。它通过分组的方式,将复杂的多头自注意力机制简化为线性复杂度的 Hadamard 乘积操作。GHPA 将输入特征按通道维度均分为四组,分别在高度-宽度、通道-高度和通道-宽度轴上进行 Hadamard 乘积注意力操作,最后一组则通过深度可分离卷积进行处理。这种多轴分组的设计,使得模型能够从不同视角提取特征,进一步提升了分割的准确性和鲁棒性。

本文目录
一 准备工作
1. 安装dynamic-network-architectures
点击链接,将其clone到本地后,进入文件夹内,pip install -e . 即可(注意-e后有个点)。
二 修改思路
由于读者预期替换的网络不一定是本文替换的网络,且所用数据集不一定是本文所用数据集,所以
本文主要介绍如何修改网络,使修改后的nnU-Net V2可以正常训练,给读者提供实践样例,不会涉及评估指标。
在对相同网络结构进行修改时,读者往往会有不同的修改思路 😃。在这一过程中,请读者以成功运行代码、是否便于读者后续回顾作为考量标准,确定修改思路。
1. GPHA模块结构
GHPA模块先将特征图通过layernorm层,再沿着通道维度将特征图分割为4份,即4份b * (c//4) * h * w大小的特征图,其中三份进行三个维度的Hadamard乘积操作,最后一份则通过卷积进行处理:
| Hadamard 乘积矩阵形状 | 维度方向 |
|---|---|
| 1 * |
订阅专栏 解锁全文
2438

被折叠的 条评论
为什么被折叠?



